Overfitting (Überanpassung) liegt vor, wenn ein Modell die Trainingsdaten samt Zufällen und Rauschen auswendig lernt, statt allgemeingültige Muster zu erfassen. Auf bekannten Daten wirkt es dann sehr genau, auf neuen Daten liefert es jedoch schlechte Ergebnisse. Erkennbar ist das an einer großen Lücke zwischen Trainings- und Testfehler. Gegenmaßnahmen sind mehr oder vielfältigere Daten, einfachere Modelle, Regularisierung, Dropout und Kreuzvalidierung.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenUnderfitting (Unteranpassung) liegt vor, wenn ein Modell zu einfach ist, um die Zusammenhänge in den Daten zu erfassen. Es macht dann schon auf den Trainingsdaten viele Fehler und ebenso auf neuen Daten – etwa wenn eine Gerade einen klar gekrümmten Verlauf abbilden soll. Abhilfe schaffen ein leistungsfähigeres Modell, aussagekräftigere Merkmale, längeres Training oder weniger Regularisierung; das Gegenstück ist Overfitting.
Regularisierung umfasst Techniken, die ein Modell beim Training daran hindern, sich zu eng an die Trainingsdaten anzupassen (Overfitting). Dazu werden etwa zu große Gewichte bestraft (L1- oder L2-Regularisierung), Neuronen zufällig ausgeschaltet (Dropout) oder das Training rechtzeitig beendet (Early Stopping). Das Ziel ist ein einfacheres Modell, das auf neuen, unbekannten Daten zuverlässiger funktioniert, auch wenn es auf den Trainingsdaten etwas schlechter abschneidet.
Kreuzvalidierung ist ein Verfahren, um zu prüfen, wie gut ein Modell auf neue, unbekannte Daten verallgemeinert. Bei der k-fachen Kreuzvalidierung werden die Daten in k Teile geteilt; das Modell wird k-mal auf k−1 Teilen trainiert und auf dem jeweils verbleibenden Teil getestet, anschließend werden die Ergebnisse gemittelt. So lassen sich Überanpassung erkennen und Modelle oder Einstellungen fair vergleichen, besonders wenn nur wenige Daten vorliegen.
Der Generalisierungsfehler misst, wie stark ein KI-Modell bei neuen, bisher ungesehenen Daten danebenliegt – im Unterschied zum Fehler auf den Trainingsdaten. Ein großer Abstand zwischen beiden deutet auf Überanpassung hin: Das Modell hat Beispiele auswendig gelernt statt allgemeine Muster. Geschätzt wird der Generalisierungsfehler mit zurückgehaltenen Testdaten oder Kreuzvalidierung. Er ist die eigentlich entscheidende Größe, denn im Einsatz begegnen dem Modell fast nur neue Fälle.
