Kreuzvalidierung ist ein Verfahren, um zu prüfen, wie gut ein Modell auf neue, unbekannte Daten verallgemeinert. Bei der k-fachen Kreuzvalidierung werden die Daten in k Teile geteilt; das Modell wird k-mal auf k−1 Teilen trainiert und auf dem jeweils verbleibenden Teil getestet, anschließend werden die Ergebnisse gemittelt. So lassen sich Überanpassung erkennen und Modelle oder Einstellungen fair vergleichen, besonders wenn nur wenige Daten vorliegen.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenOverfitting (Überanpassung) liegt vor, wenn ein Modell die Trainingsdaten samt Zufällen und Rauschen auswendig lernt, statt allgemeingültige Muster zu erfassen. Auf bekannten Daten wirkt es dann sehr genau, auf neuen Daten liefert es jedoch schlechte Ergebnisse. Erkennbar ist das an einer großen Lücke zwischen Trainings- und Testfehler. Gegenmaßnahmen sind mehr oder vielfältigere Daten, einfachere Modelle, Regularisierung, Dropout und Kreuzvalidierung.
Der Generalisierungsfehler misst, wie stark ein KI-Modell bei neuen, bisher ungesehenen Daten danebenliegt – im Unterschied zum Fehler auf den Trainingsdaten. Ein großer Abstand zwischen beiden deutet auf Überanpassung hin: Das Modell hat Beispiele auswendig gelernt statt allgemeine Muster. Geschätzt wird der Generalisierungsfehler mit zurückgehaltenen Testdaten oder Kreuzvalidierung. Er ist die eigentlich entscheidende Größe, denn im Einsatz begegnen dem Modell fast nur neue Fälle.
Hyperparameter sind Einstellungen, die vor dem Training eines Modells festgelegt werden, etwa Lernrate, Anzahl der Schichten oder Stärke der Regularisierung. Hyperparameter-Optimierung sucht systematisch nach der Kombination, die auf Validierungsdaten die besten Ergebnisse liefert, zum Beispiel per Rastersuche, Zufallssuche oder bayesscher Optimierung. Gut gewählte Werte verbessern die Genauigkeit und verringern Über- oder Unteranpassung, die Suche kostet aber Rechenzeit.
Trainingsdaten sind die Beispiele, aus denen ein KI-Modell Muster lernt – bei Sprachmodellen große Textsammlungen, bei Bildmodellen beschriftete Bilder. Ihre Qualität, Vielfalt und Aktualität bestimmen maßgeblich, wie zuverlässig, fair und auf welchem Wissensstand ein Modell später antwortet. Für Unternehmen ist zudem wichtig, ob ein Anbieter eingegebene Kundendaten für weiteres Training verwendet.
