Dropout ist eine Regularisierungstechnik beim Training neuronaler Netze: In jedem Trainingsschritt wird zufällig ein Teil der Neuronen vorübergehend ausgeschaltet. Dadurch kann sich das Netz nicht auf einzelne Verbindungen verlassen und lernt robustere Muster. Das verringert Überanpassung, also das bloße Auswendiglernen der Trainingsdaten. Bei der späteren Nutzung des fertigen Modells sind wieder alle Neuronen aktiv.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenOverfitting (Überanpassung) liegt vor, wenn ein Modell die Trainingsdaten samt Zufällen und Rauschen auswendig lernt, statt allgemeingültige Muster zu erfassen. Auf bekannten Daten wirkt es dann sehr genau, auf neuen Daten liefert es jedoch schlechte Ergebnisse. Erkennbar ist das an einer großen Lücke zwischen Trainings- und Testfehler. Gegenmaßnahmen sind mehr oder vielfältigere Daten, einfachere Modelle, Regularisierung, Dropout und Kreuzvalidierung.
Regularisierung umfasst Techniken, die ein Modell beim Training daran hindern, sich zu eng an die Trainingsdaten anzupassen (Overfitting). Dazu werden etwa zu große Gewichte bestraft (L1- oder L2-Regularisierung), Neuronen zufällig ausgeschaltet (Dropout) oder das Training rechtzeitig beendet (Early Stopping). Das Ziel ist ein einfacheres Modell, das auf neuen, unbekannten Daten zuverlässiger funktioniert, auch wenn es auf den Trainingsdaten etwas schlechter abschneidet.
Künstliche neuronale Netze (KNN) sind Rechenmodelle aus vielen verbundenen Einheiten („Neuronen“), die in Schichten angeordnet sind und Eingaben über gewichtete Verbindungen verarbeiten. Beim Training werden die Gewichte anhand von Beispielen schrittweise angepasst, meist per Backpropagation. KNN sind die Grundlage des Deep Learning und stecken in Bilderkennung, Spracherkennung und großen Sprachmodellen. Trotz des biologischen Vorbilds funktionieren sie deutlich einfacher als das menschliche Gehirn.
Batch-Normalisierung ist eine Technik beim Training tiefer neuronaler Netze, die die Zwischenwerte einer Schicht für jeden Datenstapel (Batch) auf einen einheitlichen Mittelwert und eine einheitliche Streuung bringt. Dadurch verläuft das Training stabiler und oft schneller, und das Netz reagiert weniger empfindlich auf die Startwerte. Sie wurde 2015 vorgestellt und ist vor allem in Bilderkennungsnetzen verbreitet; Transformer nutzen meist die verwandte Layer-Normalisierung.
