Glossar

Konvergenz

Was ist Konvergenz?

Konvergenz bedeutet im maschinellen Lernen, dass sich ein Trainingsverfahren einem stabilen Zustand nähert: Die Fehlerfunktion sinkt kaum noch, und die Modellparameter ändern sich nur noch minimal. Ob und wie schnell ein Modell konvergiert, hängt unter anderem von Lernrate, Datenqualität und Modellarchitektur ab. Ist die Lernrate zu hoch, springt der Fehler hin und her; ist sie zu niedrig, dauert das Training unnötig lange. Konvergenz garantiert allerdings kein gutes Modell, da es auch überangepasst sein kann.

Themen

Training
Optimierung
Maschinelles Lernen

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Gradientenabstieg

Der Gradientenabstieg ist ein Optimierungsverfahren, mit dem die meisten KI-Modelle trainiert werden. Man misst, wie groß der Fehler des Modells ist, berechnet, in welche Richtung sich die Parameter ändern müssen, damit er sinkt, und geht dann einen kleinen Schritt in diese Richtung – immer wieder. Bildlich gleicht das einem Wanderer, der im Nebel stets bergab geht, um das Tal zu finden. Die Schrittweite (Lernrate) entscheidet über Tempo und Stabilität.

Optimierung
Modelltraining
+1

Lernkurve

Im maschinellen Lernen ist eine Lernkurve ein Diagramm, das die Leistung oder den Fehler eines Modells über die Trainingsdauer oder die Menge der Trainingsdaten zeigt, meist getrennt für Trainings- und Validierungsdaten. Aus dem Verlauf lässt sich ablesen, ob ein Modell unter- oder überangepasst ist und ob mehr Daten voraussichtlich helfen. Bleibt etwa der Validierungsfehler deutlich über dem Trainingsfehler, deutet das auf Überanpassung hin. Umgangssprachlich beschreibt der Begriff auch, wie schnell Menschen eine neue Technik beherrschen.

Training
Modellbewertung
+1

Trainingsfehler

Der Trainingsfehler gibt an, wie stark die Vorhersagen eines Modells von den richtigen Werten in genau den Daten abweichen, mit denen es trainiert wurde. Allein ist er wenig aussagekräftig: Entscheidend ist der Vergleich mit dem Generalisierungsfehler auf neuen Daten. Ist der Trainingsfehler hoch, deutet das auf Underfitting hin; ist er sehr niedrig, der Fehler auf Testdaten aber hoch, liegt meist Overfitting vor.

Machine Learning
Evaluierung
+1

Hyperparameter-Optimierung

Hyperparameter sind Einstellungen, die vor dem Training eines Modells festgelegt werden, etwa Lernrate, Anzahl der Schichten oder Stärke der Regularisierung. Hyperparameter-Optimierung sucht systematisch nach der Kombination, die auf Validierungsdaten die besten Ergebnisse liefert, zum Beispiel per Rastersuche, Zufallssuche oder bayesscher Optimierung. Gut gewählte Werte verbessern die Genauigkeit und verringern Über- oder Unteranpassung, die Suche kostet aber Rechenzeit.

Training
Modellgüte
+1