Der Gradientenabstieg ist ein Optimierungsverfahren, mit dem die meisten KI-Modelle trainiert werden. Man misst, wie groß der Fehler des Modells ist, berechnet, in welche Richtung sich die Parameter ändern müssen, damit er sinkt, und geht dann einen kleinen Schritt in diese Richtung – immer wieder. Bildlich gleicht das einem Wanderer, der im Nebel stets bergab geht, um das Tal zu finden. Die Schrittweite (Lernrate) entscheidet über Tempo und Stabilität.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenBackpropagation (Fehlerrückführung) ist das Standardverfahren, mit dem neuronale Netze lernen. Nach jeder Vorhersage wird der Fehler gemessen und rückwärts durch die Schichten des Netzes verteilt; so lässt sich berechnen, wie stark jedes Gewicht zum Fehler beigetragen hat. Ein Optimierungsverfahren wie der Gradientenabstieg passt die Gewichte dann schrittweise an. Ohne Backpropagation wäre das Training heutiger Sprach- und Bildmodelle praktisch nicht möglich.
Konvergenz bedeutet im maschinellen Lernen, dass sich ein Trainingsverfahren einem stabilen Zustand nähert: Die Fehlerfunktion sinkt kaum noch, und die Modellparameter ändern sich nur noch minimal. Ob und wie schnell ein Modell konvergiert, hängt unter anderem von Lernrate, Datenqualität und Modellarchitektur ab. Ist die Lernrate zu hoch, springt der Fehler hin und her; ist sie zu niedrig, dauert das Training unnötig lange. Konvergenz garantiert allerdings kein gutes Modell, da es auch überangepasst sein kann.
Die Kreuzentropie ist ein Maß aus der Informationstheorie, das angibt, wie stark eine vorhergesagte Wahrscheinlichkeitsverteilung von der tatsächlichen abweicht. Im maschinellen Lernen ist sie die gebräuchlichste Verlustfunktion für Klassifikationsaufgaben und auch für Sprachmodelle, die das nächste Token vorhersagen. Sie bestraft besonders falsche Vorhersagen, die mit hoher Sicherheit getroffen werden: Wer einer falschen Klasse 99 % gibt, erhält einen deutlich höheren Verlust als bei 60 %.
Hyperparameter sind Einstellungen, die vor dem Training eines Modells festgelegt werden, etwa Lernrate, Anzahl der Schichten oder Stärke der Regularisierung. Hyperparameter-Optimierung sucht systematisch nach der Kombination, die auf Validierungsdaten die besten Ergebnisse liefert, zum Beispiel per Rastersuche, Zufallssuche oder bayesscher Optimierung. Gut gewählte Werte verbessern die Genauigkeit und verringern Über- oder Unteranpassung, die Suche kostet aber Rechenzeit.
