Η υποπροσαρμογή (underfitting) προκύπτει όταν ένα μοντέλο είναι υπερβολικά απλό για να συλλάβει τις σχέσεις στα δεδομένα. Τότε κάνει πολλά σφάλματα τόσο στα δεδομένα εκπαίδευσης όσο και στα νέα, για παράδειγμα όταν χρησιμοποιείται μια ευθεία για να αναπαραστήσει ένα σαφώς καμπύλο μοτίβο. Τα διορθωτικά μέτρα περιλαμβάνουν ένα πιο ισχυρό μοντέλο, πιο πληροφοριακά χαρακτηριστικά, μακρύτερη εκπαίδευση ή λιγότερη κανονικοποίηση· το αντίθετο πρόβλημα είναι η υπερπροσαρμογή.
Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.
Έναρξη επίδειξηςΗ υπερπροσαρμογή (overfitting) προκύπτει όταν ένα μοντέλο απομνημονεύει τα δεδομένα εκπαίδευσης, συμπεριλαμβανομένων τυχαίων ιδιομορφιών και θορύβου, αντί να συλλαμβάνει γενικά ισχύοντα πρότυπα. Τότε φαίνεται πολύ ακριβές στα γνωστά δεδομένα, αλλά αποδίδει άσχημα σε νέα. Ένα μεγάλο χάσμα ανάμεσα στο σφάλμα εκπαίδευσης και δοκιμής είναι τυπική ένδειξη. Τα αντίμετρα περιλαμβάνουν περισσότερα ή πιο ποικίλα δεδομένα, απλούστερα μοντέλα, κανονικοποίηση, dropout και διασταυρούμενη επικύρωση.
Το σφάλμα γενίκευσης μετρά πόσο αποκλίνει ένα μοντέλο ΤΝ σε νέα, άγνωστα μέχρι τώρα δεδομένα – σε αντίθεση με το σφάλμα του στα δεδομένα εκπαίδευσης. Μεγάλο χάσμα μεταξύ των δύο υποδεικνύει υπερπροσαρμογή: το μοντέλο απομνημόνευσε παραδείγματα αντί να μάθει γενικά μοτίβα. Εκτιμάται με δεδομένα δοκιμής που κρατήθηκαν στην άκρη ή με διασταυρούμενη επικύρωση. Είναι το μέγεθος που μετράει πραγματικά, επειδή στην πράξη ένα μοντέλο συναντά σχεδόν μόνο νέες περιπτώσεις.
Το σφάλμα εκπαίδευσης δείχνει κατά πόσο αποκλίνουν οι προβλέψεις ενός μοντέλου από τις σωστές τιμές ακριβώς στα δεδομένα στα οποία εκπαιδεύτηκε. Από μόνο του λέει λίγα: σημασία έχει η σύγκριση με το σφάλμα γενίκευσης σε νέα δεδομένα. Ένα υψηλό σφάλμα εκπαίδευσης υποδεικνύει υποπροσαρμογή· ένα πολύ χαμηλό σφάλμα εκπαίδευσης σε συνδυασμό με υψηλό σφάλμα στα δεδομένα δοκιμής συνήθως σηματοδοτεί υπερπροσαρμογή.
Η κανονικοποίηση (regularisation) καλύπτει τεχνικές που εμποδίζουν ένα μοντέλο να προσαρμοστεί υπερβολικά στενά στα δεδομένα εκπαίδευσής του κατά την εκπαίδευση (υπερπροσαρμογή). Παραδείγματα είναι η επιβολή ποινής σε μεγάλα βάρη (κανονικοποίηση L1 ή L2), η τυχαία απενεργοποίηση νευρώνων (dropout) ή η διακοπή της εκπαίδευσης στη σωστή στιγμή (early stopping). Στόχος είναι ένα απλούστερο μοντέλο που αποδίδει πιο αξιόπιστα σε νέα, άγνωστα δεδομένα, ακόμη κι αν σημειώνει ελαφρώς χαμηλότερη βαθμολογία στα δεδομένα εκπαίδευσης.
