Το dropout είναι μια τεχνική κανονικοποίησης που χρησιμοποιείται κατά την εκπαίδευση νευρωνικών δικτύων: σε κάθε βήμα εκπαίδευσης ένα τυχαίο ποσοστό νευρώνων απενεργοποιείται προσωρινά. Έτσι το δίκτυο δεν βασίζεται σε μεμονωμένες συνδέσεις και μαθαίνει πιο στιβαρά πρότυπα. Μειώνει την υπερπροσαρμογή, δηλαδή την απλή απομνημόνευση των δεδομένων εκπαίδευσης. Όταν το έτοιμο μοντέλο χρησιμοποιείται αργότερα, όλοι οι νευρώνες είναι ξανά ενεργοί.
Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.
Έναρξη επίδειξηςΗ υπερπροσαρμογή (overfitting) προκύπτει όταν ένα μοντέλο απομνημονεύει τα δεδομένα εκπαίδευσης, συμπεριλαμβανομένων τυχαίων ιδιομορφιών και θορύβου, αντί να συλλαμβάνει γενικά ισχύοντα πρότυπα. Τότε φαίνεται πολύ ακριβές στα γνωστά δεδομένα, αλλά αποδίδει άσχημα σε νέα. Ένα μεγάλο χάσμα ανάμεσα στο σφάλμα εκπαίδευσης και δοκιμής είναι τυπική ένδειξη. Τα αντίμετρα περιλαμβάνουν περισσότερα ή πιο ποικίλα δεδομένα, απλούστερα μοντέλα, κανονικοποίηση, dropout και διασταυρούμενη επικύρωση.
Η κανονικοποίηση (regularisation) καλύπτει τεχνικές που εμποδίζουν ένα μοντέλο να προσαρμοστεί υπερβολικά στενά στα δεδομένα εκπαίδευσής του κατά την εκπαίδευση (υπερπροσαρμογή). Παραδείγματα είναι η επιβολή ποινής σε μεγάλα βάρη (κανονικοποίηση L1 ή L2), η τυχαία απενεργοποίηση νευρώνων (dropout) ή η διακοπή της εκπαίδευσης στη σωστή στιγμή (early stopping). Στόχος είναι ένα απλούστερο μοντέλο που αποδίδει πιο αξιόπιστα σε νέα, άγνωστα δεδομένα, ακόμη κι αν σημειώνει ελαφρώς χαμηλότερη βαθμολογία στα δεδομένα εκπαίδευσης.
Τα τεχνητά νευρωνικά δίκτυα (artificial neural networks, ANN) είναι υπολογιστικά μοντέλα που αποτελούνται από πολλές συνδεδεμένες μονάδες («νευρώνες») οργανωμένες σε στρώματα, οι οποίες επεξεργάζονται εισόδους μέσω σταθμισμένων συνδέσεων. Κατά την εκπαίδευση, τα βάρη προσαρμόζονται βήμα προς βήμα με τη βοήθεια παραδειγμάτων, συνήθως με οπισθοδιάδοση (backpropagation). Τα ANN αποτελούν το θεμέλιο της βαθιάς μάθησης και τροφοδοτούν την αναγνώριση εικόνας, την αναγνώριση ομιλίας και τα μεγάλα γλωσσικά μοντέλα. Παρά τη βιολογική τους έμπνευση, λειτουργούν πολύ απλούστερα από τον ανθρώπινο εγκέφαλο.
Η κανονικοποίηση παρτίδας (batch normalisation) είναι μια τεχνική για την εκπαίδευση βαθιών νευρωνικών δικτύων που επανακλιμακώνει τις ενδιάμεσες τιμές ενός επιπέδου για κάθε παρτίδα δεδομένων σε σταθερό μέσο όρο και διασπορά. Αυτό κάνει την εκπαίδευση πιο σταθερή και συχνά ταχύτερη, ενώ το δίκτυο γίνεται λιγότερο ευαίσθητο στις αρχικές του τιμές. Παρουσιάστηκε το 2015 και είναι διαδεδομένη στα δίκτυα αναγνώρισης εικόνας· τα transformer βασίζονται συνήθως στη συγγενή κανονικοποίηση επιπέδου.
