Γλωσσάριο

Κανονικοποίηση παρτίδας

Τι είναι Κανονικοποίηση παρτίδας;

Η κανονικοποίηση παρτίδας (batch normalisation) είναι μια τεχνική για την εκπαίδευση βαθιών νευρωνικών δικτύων που επανακλιμακώνει τις ενδιάμεσες τιμές ενός επιπέδου για κάθε παρτίδα δεδομένων σε σταθερό μέσο όρο και διασπορά. Αυτό κάνει την εκπαίδευση πιο σταθερή και συχνά ταχύτερη, ενώ το δίκτυο γίνεται λιγότερο ευαίσθητο στις αρχικές του τιμές. Παρουσιάστηκε το 2015 και είναι διαδεδομένη στα δίκτυα αναγνώρισης εικόνας· τα transformer βασίζονται συνήθως στη συγγενή κανονικοποίηση επιπέδου.

Θέματα

Βαθιά μάθηση
Training
Νευρωνικά δίκτυα

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Βαθιά μάθηση

Η βαθιά μάθηση (deep learning) είναι ένας κλάδος της μηχανικής μάθησης που χρησιμοποιεί τεχνητά νευρωνικά δίκτυα με πολλά στρώματα. Τέτοια δίκτυα μαθαίνουν από μεγάλους όγκους δεδομένων ποια χαρακτηριστικά έχουν σημασία – από τις ακμές σε εικόνες έως τις σχέσεις νοήματος σε κείμενα. Η βαθιά μάθηση στηρίζει τα σημερινά γλωσσικά μοντέλα, την αναγνώριση εικόνας και ομιλίας και τη μηχανική μετάφραση, και συνήθως απαιτεί σημαντική υπολογιστική ισχύ και δεδομένα εκπαίδευσης.

νευρωνικά δίκτυα
μηχανική μάθηση
+1

Dropout

Το dropout είναι μια τεχνική κανονικοποίησης που χρησιμοποιείται κατά την εκπαίδευση νευρωνικών δικτύων: σε κάθε βήμα εκπαίδευσης ένα τυχαίο ποσοστό νευρώνων απενεργοποιείται προσωρινά. Έτσι το δίκτυο δεν βασίζεται σε μεμονωμένες συνδέσεις και μαθαίνει πιο στιβαρά πρότυπα. Μειώνει την υπερπροσαρμογή, δηλαδή την απλή απομνημόνευση των δεδομένων εκπαίδευσης. Όταν το έτοιμο μοντέλο χρησιμοποιείται αργότερα, όλοι οι νευρώνες είναι ξανά ενεργοί.

εκπαίδευση
κανονικοποίηση
+1

Κανονικοποίηση

Η κανονικοποίηση (regularisation) καλύπτει τεχνικές που εμποδίζουν ένα μοντέλο να προσαρμοστεί υπερβολικά στενά στα δεδομένα εκπαίδευσής του κατά την εκπαίδευση (υπερπροσαρμογή). Παραδείγματα είναι η επιβολή ποινής σε μεγάλα βάρη (κανονικοποίηση L1 ή L2), η τυχαία απενεργοποίηση νευρώνων (dropout) ή η διακοπή της εκπαίδευσης στη σωστή στιγμή (early stopping). Στόχος είναι ένα απλούστερο μοντέλο που αποδίδει πιο αξιόπιστα σε νέα, άγνωστα δεδομένα, ακόμη κι αν σημειώνει ελαφρώς χαμηλότερη βαθμολογία στα δεδομένα εκπαίδευσης.

εκπαίδευση
υπερπροσαρμογή
+1

Καθοδική κλίση (gradient descent)

Η καθοδική κλίση (gradient descent) είναι η μέθοδος βελτιστοποίησης με την οποία εκπαιδεύονται τα περισσότερα μοντέλα ΤΝ. Μετράτε πόσο μεγάλο είναι το σφάλμα του μοντέλου, υπολογίζετε προς ποια κατεύθυνση πρέπει να αλλάξουν οι παράμετροι για να μειωθεί και κάνετε ένα μικρό βήμα προς αυτή την κατεύθυνση – ξανά και ξανά. Είναι σαν έναν πεζοπόρο μέσα στην ομίχλη που συνεχίζει να κατηφορίζει για να φτάσει στην κοιλάδα. Το μέγεθος του βήματος (ρυθμός μάθησης) καθορίζει την ταχύτητα και τη σταθερότητα.

βελτιστοποίηση
εκπαίδευση μοντέλου
+1