Γλωσσάριο

Διασταυρούμενη εντροπία (cross-entropy)

Τι είναι Διασταυρούμενη εντροπία (cross-entropy);

Η διασταυρούμενη εντροπία (cross-entropy) είναι ένα μέγεθος από τη θεωρία πληροφορίας που δείχνει πόσο αποκλίνει μια προβλεπόμενη κατανομή πιθανοτήτων από την πραγματική. Στη μηχανική μάθηση είναι η πιο συνηθισμένη συνάρτηση απώλειας για εργασίες ταξινόμησης και επίσης για γλωσσικά μοντέλα που προβλέπουν το επόμενο token. Τιμωρεί ιδιαίτερα αυστηρά τις βέβαιες λανθασμένες προβλέψεις: η απόδοση 99% στη λάθος κλάση δίνει πολύ μεγαλύτερη απώλεια από την απόδοση 60%.

Θέματα

συνάρτηση απώλειας
Training
Στατιστική

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Απώλεια λογαρίθμου (log loss)

Η απώλεια λογαρίθμου (log loss, logarithmic loss) μετρά πόσο καλά οι προβλεπόμενες πιθανότητες ενός μοντέλου ταξινόμησης ταιριάζουν με τα πραγματικά αποτελέσματα. Οι βέβαιες αλλά λανθασμένες προβλέψεις τιμωρούνται ιδιαίτερα αυστηρά· μια τιμή κοντά στο μηδέν υποδεικνύει καλά βαθμονομημένες προβλέψεις. Παράδειγμα: αν ένα μοντέλο δίνει πιθανότητα διαρροής 95% για έναν πελάτη που μένει, η απώλεια λογαρίθμου αυξάνεται απότομα. Μαθηματικά είναι το ίδιο με τη δυαδική διασταυρούμενη εντροπία.

μετρική
ταξινόμηση
+1

Καθοδική κλίση (gradient descent)

Η καθοδική κλίση (gradient descent) είναι η μέθοδος βελτιστοποίησης με την οποία εκπαιδεύονται τα περισσότερα μοντέλα ΤΝ. Μετράτε πόσο μεγάλο είναι το σφάλμα του μοντέλου, υπολογίζετε προς ποια κατεύθυνση πρέπει να αλλάξουν οι παράμετροι για να μειωθεί και κάνετε ένα μικρό βήμα προς αυτή την κατεύθυνση – ξανά και ξανά. Είναι σαν έναν πεζοπόρο μέσα στην ομίχλη που συνεχίζει να κατηφορίζει για να φτάσει στην κοιλάδα. Το μέγεθος του βήματος (ρυθμός μάθησης) καθορίζει την ταχύτητα και τη σταθερότητα.

βελτιστοποίηση
εκπαίδευση μοντέλου
+1

Ταξινομητής

Ένας ταξινομητής είναι ένα μοντέλο ή μια μέθοδος που αντιστοιχίζει εισόδους σε μία από πολλές προκαθορισμένες κατηγορίες. Κλασικές παραλλαγές, όπως τα δέντρα αποφάσεων ή ο απλός Bayes (naive Bayes), εκπαιδεύονται σε επισημασμένα παραδείγματα· τα γλωσσικά μοντέλα μπορούν επίσης να ταξινομούν κείμενα βάσει μιας περιγραφής των κατηγοριών. Τυπικές χρήσεις είναι ο εντοπισμός ανεπιθύμητης αλληλογραφίας, η ταξινόμηση αιτημάτων πελατών ανά θέμα και η κατηγοριοποίηση αποδείξεων. Η ποιότητα μετριέται με μετρικές όπως η ορθότητα, η ακρίβεια και η ανάκληση.

Κατάταξη
Μηχανική μάθηση
+1

Πρότυπο

Σύγκλιση

Στη μηχανική μάθηση, σύγκλιση σημαίνει ότι μια διαδικασία εκπαίδευσης πλησιάζει σε μια σταθερή κατάσταση: η απώλεια μειώνεται πια ελάχιστα και οι παράμετροι του μοντέλου αλλάζουν μόνο οριακά. Το κατά πόσον και πόσο γρήγορα συγκλίνει ένα μοντέλο εξαρτάται από παράγοντες όπως ο ρυθμός μάθησης, η ποιότητα των δεδομένων και η αρχιτεκτονική του μοντέλου. Αν ο ρυθμός μάθησης είναι πολύ υψηλός, η απώλεια αναπηδά· αν είναι πολύ χαμηλός, η εκπαίδευση διαρκεί άσκοπα πολύ. Η σύγκλιση δεν εγγυάται ένα καλό μοντέλο, καθώς μπορεί να είναι ακόμη υπερπροσαρμοσμένο.

Training
βελτιστοποίηση
+1