Γλωσσάριο

Καθοδική κλίση (gradient descent)

Τι είναι Καθοδική κλίση (gradient descent);

Η καθοδική κλίση (gradient descent) είναι η μέθοδος βελτιστοποίησης με την οποία εκπαιδεύονται τα περισσότερα μοντέλα ΤΝ. Μετράτε πόσο μεγάλο είναι το σφάλμα του μοντέλου, υπολογίζετε προς ποια κατεύθυνση πρέπει να αλλάξουν οι παράμετροι για να μειωθεί και κάνετε ένα μικρό βήμα προς αυτή την κατεύθυνση – ξανά και ξανά. Είναι σαν έναν πεζοπόρο μέσα στην ομίχλη που συνεχίζει να κατηφορίζει για να φτάσει στην κοιλάδα. Το μέγεθος του βήματος (ρυθμός μάθησης) καθορίζει την ταχύτητα και τη σταθερότητα.

Θέματα

βελτιστοποίηση
εκπαίδευση μοντέλου
μαθηματικά

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Backpropagation

Η οπισθοδιάδοση (backpropagation) είναι η τυπική μέθοδος με την οποία μαθαίνουν τα νευρωνικά δίκτυα. Μετά από κάθε πρόβλεψη, το σφάλμα μετριέται και διαδίδεται προς τα πίσω μέσα από τα επίπεδα του δικτύου, δείχνοντας πόσο συνέβαλε σε αυτό κάθε βάρος. Μια μέθοδος βελτιστοποίησης, όπως η κάθοδος κλίσης, προσαρμόζει στη συνέχεια τα βάρη βήμα προς βήμα. Χωρίς οπισθοδιάδοση, η εκπαίδευση των σημερινών μοντέλων γλώσσας και εικόνας θα ήταν πρακτικά αδύνατη.

Νευρωνικά δίκτυα
Training
+1

Σύγκλιση

Στη μηχανική μάθηση, σύγκλιση σημαίνει ότι μια διαδικασία εκπαίδευσης πλησιάζει σε μια σταθερή κατάσταση: η απώλεια μειώνεται πια ελάχιστα και οι παράμετροι του μοντέλου αλλάζουν μόνο οριακά. Το κατά πόσον και πόσο γρήγορα συγκλίνει ένα μοντέλο εξαρτάται από παράγοντες όπως ο ρυθμός μάθησης, η ποιότητα των δεδομένων και η αρχιτεκτονική του μοντέλου. Αν ο ρυθμός μάθησης είναι πολύ υψηλός, η απώλεια αναπηδά· αν είναι πολύ χαμηλός, η εκπαίδευση διαρκεί άσκοπα πολύ. Η σύγκλιση δεν εγγυάται ένα καλό μοντέλο, καθώς μπορεί να είναι ακόμη υπερπροσαρμοσμένο.

Training
βελτιστοποίηση
+1

Διασταυρούμενη εντροπία (cross-entropy)

Η διασταυρούμενη εντροπία (cross-entropy) είναι ένα μέγεθος από τη θεωρία πληροφορίας που δείχνει πόσο αποκλίνει μια προβλεπόμενη κατανομή πιθανοτήτων από την πραγματική. Στη μηχανική μάθηση είναι η πιο συνηθισμένη συνάρτηση απώλειας για εργασίες ταξινόμησης και επίσης για γλωσσικά μοντέλα που προβλέπουν το επόμενο token. Τιμωρεί ιδιαίτερα αυστηρά τις βέβαιες λανθασμένες προβλέψεις: η απόδοση 99% στη λάθος κλάση δίνει πολύ μεγαλύτερη απώλεια από την απόδοση 60%.

συνάρτηση απώλειας
Training
+1

Βελτιστοποίηση υπερπαραμέτρων

Οι υπερπαράμετροι είναι ρυθμίσεις που ορίζονται πριν από την εκπαίδευση ενός μοντέλου, όπως ο ρυθμός μάθησης, ο αριθμός των στρωμάτων ή η ένταση της κανονικοποίησης. Η βελτιστοποίηση υπερπαραμέτρων αναζητά συστηματικά τον συνδυασμό που αποδίδει καλύτερα σε δεδομένα επικύρωσης, για παράδειγμα με αναζήτηση πλέγματος (grid search), τυχαία αναζήτηση ή Bayesian βελτιστοποίηση. Οι σωστά επιλεγμένες τιμές βελτιώνουν την ακρίβεια και μειώνουν την υπερ- ή υποπροσαρμογή, αλλά η αναζήτηση κοστίζει υπολογιστικό χρόνο.

Training
ποιότητα μοντέλου
+1