Γλωσσάριο

Κανονικοποίηση

Τι είναι Κανονικοποίηση;

Η κανονικοποίηση (regularisation) καλύπτει τεχνικές που εμποδίζουν ένα μοντέλο να προσαρμοστεί υπερβολικά στενά στα δεδομένα εκπαίδευσής του κατά την εκπαίδευση (υπερπροσαρμογή). Παραδείγματα είναι η επιβολή ποινής σε μεγάλα βάρη (κανονικοποίηση L1 ή L2), η τυχαία απενεργοποίηση νευρώνων (dropout) ή η διακοπή της εκπαίδευσης στη σωστή στιγμή (early stopping). Στόχος είναι ένα απλούστερο μοντέλο που αποδίδει πιο αξιόπιστα σε νέα, άγνωστα δεδομένα, ακόμη κι αν σημειώνει ελαφρώς χαμηλότερη βαθμολογία στα δεδομένα εκπαίδευσης.

Θέματα

εκπαίδευση
υπερπροσαρμογή
ποιότητα μοντέλου

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Overfitting

Η υπερπροσαρμογή (overfitting) προκύπτει όταν ένα μοντέλο απομνημονεύει τα δεδομένα εκπαίδευσης, συμπεριλαμβανομένων τυχαίων ιδιομορφιών και θορύβου, αντί να συλλαμβάνει γενικά ισχύοντα πρότυπα. Τότε φαίνεται πολύ ακριβές στα γνωστά δεδομένα, αλλά αποδίδει άσχημα σε νέα. Ένα μεγάλο χάσμα ανάμεσα στο σφάλμα εκπαίδευσης και δοκιμής είναι τυπική ένδειξη. Τα αντίμετρα περιλαμβάνουν περισσότερα ή πιο ποικίλα δεδομένα, απλούστερα μοντέλα, κανονικοποίηση, dropout και διασταυρούμενη επικύρωση.

ποιότητα μοντέλου
εκπαίδευση
+1

Dropout

Το dropout είναι μια τεχνική κανονικοποίησης που χρησιμοποιείται κατά την εκπαίδευση νευρωνικών δικτύων: σε κάθε βήμα εκπαίδευσης ένα τυχαίο ποσοστό νευρώνων απενεργοποιείται προσωρινά. Έτσι το δίκτυο δεν βασίζεται σε μεμονωμένες συνδέσεις και μαθαίνει πιο στιβαρά πρότυπα. Μειώνει την υπερπροσαρμογή, δηλαδή την απλή απομνημόνευση των δεδομένων εκπαίδευσης. Όταν το έτοιμο μοντέλο χρησιμοποιείται αργότερα, όλοι οι νευρώνες είναι ξανά ενεργοί.

εκπαίδευση
κανονικοποίηση
+1

Σφάλμα γενίκευσης

Το σφάλμα γενίκευσης μετρά πόσο αποκλίνει ένα μοντέλο ΤΝ σε νέα, άγνωστα μέχρι τώρα δεδομένα – σε αντίθεση με το σφάλμα του στα δεδομένα εκπαίδευσης. Μεγάλο χάσμα μεταξύ των δύο υποδεικνύει υπερπροσαρμογή: το μοντέλο απομνημόνευσε παραδείγματα αντί να μάθει γενικά μοτίβα. Εκτιμάται με δεδομένα δοκιμής που κρατήθηκαν στην άκρη ή με διασταυρούμενη επικύρωση. Είναι το μέγεθος που μετράει πραγματικά, επειδή στην πράξη ένα μοντέλο συναντά σχεδόν μόνο νέες περιπτώσεις.

Μηχανική μάθηση
Αξιολόγηση μοντέλων
+1

Underfitting

Η υποπροσαρμογή (underfitting) προκύπτει όταν ένα μοντέλο είναι υπερβολικά απλό για να συλλάβει τις σχέσεις στα δεδομένα. Τότε κάνει πολλά σφάλματα τόσο στα δεδομένα εκπαίδευσης όσο και στα νέα, για παράδειγμα όταν χρησιμοποιείται μια ευθεία για να αναπαραστήσει ένα σαφώς καμπύλο μοτίβο. Τα διορθωτικά μέτρα περιλαμβάνουν ένα πιο ισχυρό μοντέλο, πιο πληροφοριακά χαρακτηριστικά, μακρύτερη εκπαίδευση ή λιγότερη κανονικοποίηση· το αντίθετο πρόβλημα είναι η υπερπροσαρμογή.

Μηχανική μάθηση
ποιότητα μοντέλου
+1