Der Trainingsfehler gibt an, wie stark die Vorhersagen eines Modells von den richtigen Werten in genau den Daten abweichen, mit denen es trainiert wurde. Allein ist er wenig aussagekräftig: Entscheidend ist der Vergleich mit dem Generalisierungsfehler auf neuen Daten. Ist der Trainingsfehler hoch, deutet das auf Underfitting hin; ist er sehr niedrig, der Fehler auf Testdaten aber hoch, liegt meist Overfitting vor.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenDer Generalisierungsfehler misst, wie stark ein KI-Modell bei neuen, bisher ungesehenen Daten danebenliegt – im Unterschied zum Fehler auf den Trainingsdaten. Ein großer Abstand zwischen beiden deutet auf Überanpassung hin: Das Modell hat Beispiele auswendig gelernt statt allgemeine Muster. Geschätzt wird der Generalisierungsfehler mit zurückgehaltenen Testdaten oder Kreuzvalidierung. Er ist die eigentlich entscheidende Größe, denn im Einsatz begegnen dem Modell fast nur neue Fälle.
Overfitting (Überanpassung) liegt vor, wenn ein Modell die Trainingsdaten samt Zufällen und Rauschen auswendig lernt, statt allgemeingültige Muster zu erfassen. Auf bekannten Daten wirkt es dann sehr genau, auf neuen Daten liefert es jedoch schlechte Ergebnisse. Erkennbar ist das an einer großen Lücke zwischen Trainings- und Testfehler. Gegenmaßnahmen sind mehr oder vielfältigere Daten, einfachere Modelle, Regularisierung, Dropout und Kreuzvalidierung.
Underfitting (Unteranpassung) liegt vor, wenn ein Modell zu einfach ist, um die Zusammenhänge in den Daten zu erfassen. Es macht dann schon auf den Trainingsdaten viele Fehler und ebenso auf neuen Daten – etwa wenn eine Gerade einen klar gekrümmten Verlauf abbilden soll. Abhilfe schaffen ein leistungsfähigeres Modell, aussagekräftigere Merkmale, längeres Training oder weniger Regularisierung; das Gegenstück ist Overfitting.
Kreuzvalidierung ist ein Verfahren, um zu prüfen, wie gut ein Modell auf neue, unbekannte Daten verallgemeinert. Bei der k-fachen Kreuzvalidierung werden die Daten in k Teile geteilt; das Modell wird k-mal auf k−1 Teilen trainiert und auf dem jeweils verbleibenden Teil getestet, anschließend werden die Ergebnisse gemittelt. So lassen sich Überanpassung erkennen und Modelle oder Einstellungen fair vergleichen, besonders wenn nur wenige Daten vorliegen.
