Η οπισθοδιάδοση (backpropagation) είναι η τυπική μέθοδος με την οποία μαθαίνουν τα νευρωνικά δίκτυα. Μετά από κάθε πρόβλεψη, το σφάλμα μετριέται και διαδίδεται προς τα πίσω μέσα από τα επίπεδα του δικτύου, δείχνοντας πόσο συνέβαλε σε αυτό κάθε βάρος. Μια μέθοδος βελτιστοποίησης, όπως η κάθοδος κλίσης, προσαρμόζει στη συνέχεια τα βάρη βήμα προς βήμα. Χωρίς οπισθοδιάδοση, η εκπαίδευση των σημερινών μοντέλων γλώσσας και εικόνας θα ήταν πρακτικά αδύνατη.
Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.
Έναρξη επίδειξηςΗ καθοδική κλίση (gradient descent) είναι η μέθοδος βελτιστοποίησης με την οποία εκπαιδεύονται τα περισσότερα μοντέλα ΤΝ. Μετράτε πόσο μεγάλο είναι το σφάλμα του μοντέλου, υπολογίζετε προς ποια κατεύθυνση πρέπει να αλλάξουν οι παράμετροι για να μειωθεί και κάνετε ένα μικρό βήμα προς αυτή την κατεύθυνση – ξανά και ξανά. Είναι σαν έναν πεζοπόρο μέσα στην ομίχλη που συνεχίζει να κατηφορίζει για να φτάσει στην κοιλάδα. Το μέγεθος του βήματος (ρυθμός μάθησης) καθορίζει την ταχύτητα και τη σταθερότητα.
Τα τεχνητά νευρωνικά δίκτυα (artificial neural networks, ANN) είναι υπολογιστικά μοντέλα που αποτελούνται από πολλές συνδεδεμένες μονάδες («νευρώνες») οργανωμένες σε στρώματα, οι οποίες επεξεργάζονται εισόδους μέσω σταθμισμένων συνδέσεων. Κατά την εκπαίδευση, τα βάρη προσαρμόζονται βήμα προς βήμα με τη βοήθεια παραδειγμάτων, συνήθως με οπισθοδιάδοση (backpropagation). Τα ANN αποτελούν το θεμέλιο της βαθιάς μάθησης και τροφοδοτούν την αναγνώριση εικόνας, την αναγνώριση ομιλίας και τα μεγάλα γλωσσικά μοντέλα. Παρά τη βιολογική τους έμπνευση, λειτουργούν πολύ απλούστερα από τον ανθρώπινο εγκέφαλο.
Οι συναρτήσεις ενεργοποίησης καθορίζουν πόσο έντονα ένας νευρώνας σε ένα τεχνητό νευρωνικό δίκτυο μεταδίδει το σήμα του. Εισάγουν μη γραμμικότητα – μόνο έτσι μπορεί το δίκτυο να αναπαραστήσει σύνθετες σχέσεις όπως η γλώσσα ή οι εικόνες. Συνήθη παραδείγματα είναι η ReLU, που μηδενίζει τις αρνητικές τιμές, η σιγμοειδής για πιθανότητες μεταξύ 0 και 1 και η GELU, που χρησιμοποιείται σε πολλά μοντέλα transformer. Η επιλογή επηρεάζει την ταχύτητα και τη σταθερότητα της εκπαίδευσης.
Η διασταυρούμενη εντροπία (cross-entropy) είναι ένα μέγεθος από τη θεωρία πληροφορίας που δείχνει πόσο αποκλίνει μια προβλεπόμενη κατανομή πιθανοτήτων από την πραγματική. Στη μηχανική μάθηση είναι η πιο συνηθισμένη συνάρτηση απώλειας για εργασίες ταξινόμησης και επίσης για γλωσσικά μοντέλα που προβλέπουν το επόμενο token. Τιμωρεί ιδιαίτερα αυστηρά τις βέβαιες λανθασμένες προβλέψεις: η απόδοση 99% στη λάθος κλάση δίνει πολύ μεγαλύτερη απώλεια από την απόδοση 60%.
