Glossar

Regularisierung

Was ist Regularisierung?

Regularisierung umfasst Techniken, die ein Modell beim Training daran hindern, sich zu eng an die Trainingsdaten anzupassen (Overfitting). Dazu werden etwa zu große Gewichte bestraft (L1- oder L2-Regularisierung), Neuronen zufällig ausgeschaltet (Dropout) oder das Training rechtzeitig beendet (Early Stopping). Das Ziel ist ein einfacheres Modell, das auf neuen, unbekannten Daten zuverlässiger funktioniert, auch wenn es auf den Trainingsdaten etwas schlechter abschneidet.

Themen

Training
Overfitting
Modellqualität

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Overfitting

Overfitting (Überanpassung) liegt vor, wenn ein Modell die Trainingsdaten samt Zufällen und Rauschen auswendig lernt, statt allgemeingültige Muster zu erfassen. Auf bekannten Daten wirkt es dann sehr genau, auf neuen Daten liefert es jedoch schlechte Ergebnisse. Erkennbar ist das an einer großen Lücke zwischen Trainings- und Testfehler. Gegenmaßnahmen sind mehr oder vielfältigere Daten, einfachere Modelle, Regularisierung, Dropout und Kreuzvalidierung.

Modellqualität
Training
+1

Dropout

Dropout ist eine Regularisierungstechnik beim Training neuronaler Netze: In jedem Trainingsschritt wird zufällig ein Teil der Neuronen vorübergehend ausgeschaltet. Dadurch kann sich das Netz nicht auf einzelne Verbindungen verlassen und lernt robustere Muster. Das verringert Überanpassung, also das bloße Auswendiglernen der Trainingsdaten. Bei der späteren Nutzung des fertigen Modells sind wieder alle Neuronen aktiv.

Training
Regularisierung
+1

Generalisierungsfehler

Der Generalisierungsfehler misst, wie stark ein KI-Modell bei neuen, bisher ungesehenen Daten danebenliegt – im Unterschied zum Fehler auf den Trainingsdaten. Ein großer Abstand zwischen beiden deutet auf Überanpassung hin: Das Modell hat Beispiele auswendig gelernt statt allgemeine Muster. Geschätzt wird der Generalisierungsfehler mit zurückgehaltenen Testdaten oder Kreuzvalidierung. Er ist die eigentlich entscheidende Größe, denn im Einsatz begegnen dem Modell fast nur neue Fälle.

Maschinelles Lernen
Modellbewertung
+1

Underfitting

Underfitting (Unteranpassung) liegt vor, wenn ein Modell zu einfach ist, um die Zusammenhänge in den Daten zu erfassen. Es macht dann schon auf den Trainingsdaten viele Fehler und ebenso auf neuen Daten – etwa wenn eine Gerade einen klar gekrümmten Verlauf abbilden soll. Abhilfe schaffen ein leistungsfähigeres Modell, aussagekräftigere Merkmale, längeres Training oder weniger Regularisierung; das Gegenstück ist Overfitting.

Machine Learning
Modellqualität
+1