Το σφάλμα γενίκευσης μετρά πόσο αποκλίνει ένα μοντέλο ΤΝ σε νέα, άγνωστα μέχρι τώρα δεδομένα – σε αντίθεση με το σφάλμα του στα δεδομένα εκπαίδευσης. Μεγάλο χάσμα μεταξύ των δύο υποδεικνύει υπερπροσαρμογή: το μοντέλο απομνημόνευσε παραδείγματα αντί να μάθει γενικά μοτίβα. Εκτιμάται με δεδομένα δοκιμής που κρατήθηκαν στην άκρη ή με διασταυρούμενη επικύρωση. Είναι το μέγεθος που μετράει πραγματικά, επειδή στην πράξη ένα μοντέλο συναντά σχεδόν μόνο νέες περιπτώσεις.
Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.
Έναρξη επίδειξηςΗ υπερπροσαρμογή (overfitting) προκύπτει όταν ένα μοντέλο απομνημονεύει τα δεδομένα εκπαίδευσης, συμπεριλαμβανομένων τυχαίων ιδιομορφιών και θορύβου, αντί να συλλαμβάνει γενικά ισχύοντα πρότυπα. Τότε φαίνεται πολύ ακριβές στα γνωστά δεδομένα, αλλά αποδίδει άσχημα σε νέα. Ένα μεγάλο χάσμα ανάμεσα στο σφάλμα εκπαίδευσης και δοκιμής είναι τυπική ένδειξη. Τα αντίμετρα περιλαμβάνουν περισσότερα ή πιο ποικίλα δεδομένα, απλούστερα μοντέλα, κανονικοποίηση, dropout και διασταυρούμενη επικύρωση.
Η υποπροσαρμογή (underfitting) προκύπτει όταν ένα μοντέλο είναι υπερβολικά απλό για να συλλάβει τις σχέσεις στα δεδομένα. Τότε κάνει πολλά σφάλματα τόσο στα δεδομένα εκπαίδευσης όσο και στα νέα, για παράδειγμα όταν χρησιμοποιείται μια ευθεία για να αναπαραστήσει ένα σαφώς καμπύλο μοτίβο. Τα διορθωτικά μέτρα περιλαμβάνουν ένα πιο ισχυρό μοντέλο, πιο πληροφοριακά χαρακτηριστικά, μακρύτερη εκπαίδευση ή λιγότερη κανονικοποίηση· το αντίθετο πρόβλημα είναι η υπερπροσαρμογή.
Το σφάλμα εκπαίδευσης δείχνει κατά πόσο αποκλίνουν οι προβλέψεις ενός μοντέλου από τις σωστές τιμές ακριβώς στα δεδομένα στα οποία εκπαιδεύτηκε. Από μόνο του λέει λίγα: σημασία έχει η σύγκριση με το σφάλμα γενίκευσης σε νέα δεδομένα. Ένα υψηλό σφάλμα εκπαίδευσης υποδεικνύει υποπροσαρμογή· ένα πολύ χαμηλό σφάλμα εκπαίδευσης σε συνδυασμό με υψηλό σφάλμα στα δεδομένα δοκιμής συνήθως σηματοδοτεί υπερπροσαρμογή.
Η διασταυρούμενη επικύρωση (cross-validation) είναι μια μέθοδος για τον έλεγχο του πόσο καλά γενικεύει ένα μοντέλο σε νέα, άγνωστα δεδομένα. Στη διασταυρούμενη επικύρωση k διπλώσεων, τα δεδομένα χωρίζονται σε k μέρη· το μοντέλο εκπαιδεύεται k φορές σε k−1 μέρη και δοκιμάζεται κάθε φορά στο υπόλοιπο μέρος, και στη συνέχεια υπολογίζεται ο μέσος όρος των αποτελεσμάτων. Αυτό βοηθά να εντοπίζεται η υπερπροσαρμογή και να συγκρίνονται δίκαια μοντέλα ή ρυθμίσεις, ιδίως όταν υπάρχουν λίγα δεδομένα.
