Glossar

Kreuzentropie

Was ist Kreuzentropie?

Die Kreuzentropie ist ein Maß aus der Informationstheorie, das angibt, wie stark eine vorhergesagte Wahrscheinlichkeitsverteilung von der tatsächlichen abweicht. Im maschinellen Lernen ist sie die gebräuchlichste Verlustfunktion für Klassifikationsaufgaben und auch für Sprachmodelle, die das nächste Token vorhersagen. Sie bestraft besonders falsche Vorhersagen, die mit hoher Sicherheit getroffen werden: Wer einer falschen Klasse 99 % gibt, erhält einen deutlich höheren Verlust als bei 60 %.

Themen

Verlustfunktion
Training
Statistik

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Log Loss

Log Loss (logarithmischer Verlust) misst, wie gut die vorhergesagten Wahrscheinlichkeiten eines Klassifikationsmodells zu den tatsächlichen Ergebnissen passen. Sichere, aber falsche Vorhersagen werden besonders stark bestraft; ein Wert nahe null bedeutet gut kalibrierte Prognosen. Beispiel: Schätzt ein Modell 95 % Kündigungswahrscheinlichkeit für einen Kunden, der bleibt, steigt der Log Loss deutlich. Mathematisch entspricht er der binären Kreuzentropie.

Metrik
Klassifikation
+1

Gradientenabstieg

Der Gradientenabstieg ist ein Optimierungsverfahren, mit dem die meisten KI-Modelle trainiert werden. Man misst, wie groß der Fehler des Modells ist, berechnet, in welche Richtung sich die Parameter ändern müssen, damit er sinkt, und geht dann einen kleinen Schritt in diese Richtung – immer wieder. Bildlich gleicht das einem Wanderer, der im Nebel stets bergab geht, um das Tal zu finden. Die Schrittweite (Lernrate) entscheidet über Tempo und Stabilität.

Optimierung
Modelltraining
+1

Klassifizierer

Ein Klassifizierer ist ein Modell oder Verfahren, das Eingaben einer von mehreren festgelegten Kategorien zuordnet. Klassische Varianten werden mit beschrifteten Beispielen trainiert, etwa Entscheidungsbäume oder Naive Bayes; Sprachmodelle können Texte auch anhand einer Beschreibung der Kategorien einordnen. Typische Einsätze sind Spam-Erkennung, das Sortieren von Kundenanfragen nach Thema oder die Einstufung von Belegen. Die Qualität wird mit Kennzahlen wie Genauigkeit, Präzision und Recall gemessen.

Klassifikation
Maschinelles Lernen
+1

Vorlage

Konvergenz

Konvergenz bedeutet im maschinellen Lernen, dass sich ein Trainingsverfahren einem stabilen Zustand nähert: Die Fehlerfunktion sinkt kaum noch, und die Modellparameter ändern sich nur noch minimal. Ob und wie schnell ein Modell konvergiert, hängt unter anderem von Lernrate, Datenqualität und Modellarchitektur ab. Ist die Lernrate zu hoch, springt der Fehler hin und her; ist sie zu niedrig, dauert das Training unnötig lange. Konvergenz garantiert allerdings kein gutes Modell, da es auch überangepasst sein kann.

Training
Optimierung
+1