Underfitting (Unteranpassung) liegt vor, wenn ein Modell zu einfach ist, um die Zusammenhänge in den Daten zu erfassen. Es macht dann schon auf den Trainingsdaten viele Fehler und ebenso auf neuen Daten – etwa wenn eine Gerade einen klar gekrümmten Verlauf abbilden soll. Abhilfe schaffen ein leistungsfähigeres Modell, aussagekräftigere Merkmale, längeres Training oder weniger Regularisierung; das Gegenstück ist Overfitting.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenOverfitting (Überanpassung) liegt vor, wenn ein Modell die Trainingsdaten samt Zufällen und Rauschen auswendig lernt, statt allgemeingültige Muster zu erfassen. Auf bekannten Daten wirkt es dann sehr genau, auf neuen Daten liefert es jedoch schlechte Ergebnisse. Erkennbar ist das an einer großen Lücke zwischen Trainings- und Testfehler. Gegenmaßnahmen sind mehr oder vielfältigere Daten, einfachere Modelle, Regularisierung, Dropout und Kreuzvalidierung.
Der Generalisierungsfehler misst, wie stark ein KI-Modell bei neuen, bisher ungesehenen Daten danebenliegt – im Unterschied zum Fehler auf den Trainingsdaten. Ein großer Abstand zwischen beiden deutet auf Überanpassung hin: Das Modell hat Beispiele auswendig gelernt statt allgemeine Muster. Geschätzt wird der Generalisierungsfehler mit zurückgehaltenen Testdaten oder Kreuzvalidierung. Er ist die eigentlich entscheidende Größe, denn im Einsatz begegnen dem Modell fast nur neue Fälle.
Der Trainingsfehler gibt an, wie stark die Vorhersagen eines Modells von den richtigen Werten in genau den Daten abweichen, mit denen es trainiert wurde. Allein ist er wenig aussagekräftig: Entscheidend ist der Vergleich mit dem Generalisierungsfehler auf neuen Daten. Ist der Trainingsfehler hoch, deutet das auf Underfitting hin; ist er sehr niedrig, der Fehler auf Testdaten aber hoch, liegt meist Overfitting vor.
Regularisierung umfasst Techniken, die ein Modell beim Training daran hindern, sich zu eng an die Trainingsdaten anzupassen (Overfitting). Dazu werden etwa zu große Gewichte bestraft (L1- oder L2-Regularisierung), Neuronen zufällig ausgeschaltet (Dropout) oder das Training rechtzeitig beendet (Early Stopping). Das Ziel ist ein einfacheres Modell, das auf neuen, unbekannten Daten zuverlässiger funktioniert, auch wenn es auf den Trainingsdaten etwas schlechter abschneidet.
