Glossar

Konfusionsmatrix

Was ist Konfusionsmatrix?

Eine Konfusionsmatrix ist eine Tabelle, die die Vorhersagen eines Klassifizierers den tatsächlichen Klassen gegenüberstellt. Bei zwei Klassen zeigt sie richtig positive, falsch positive, richtig negative und falsch negative Fälle. Daraus lassen sich Kennzahlen wie Präzision, Recall und F1-Score berechnen und erkennen, welche Fehler auftreten. Beispiel: Ein Spamfilter, der viele echte E-Mails als Spam markiert, hat viele falsch positive Fälle – das ist oft teurer als ein übersehener Spam.

Themen

Modellbewertung
Klassifikation
Kennzahlen

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

F-Score (F1-Maß)

Der F-Score ist eine Kennzahl zur Bewertung von Klassifikationsmodellen. Das gebräuchliche F1-Maß ist das harmonische Mittel aus Präzision (wie viele der gefundenen Treffer stimmen) und Recall (wie viele der tatsächlichen Treffer gefunden wurden) und liegt zwischen 0 und 1. Es ist besonders nützlich bei unausgewogenen Daten: Ein Spamfilter, der fast nie Spam meldet, hat hohe Genauigkeit, aber einen niedrigen F1-Wert.

Bewertungsmetrik
Klassifikation
+1

Recall im Machine Learning

Recall (Trefferquote, Sensitivität) misst, welchen Anteil der tatsächlich positiven Fälle ein Modell erkennt: richtig erkannte Positive geteilt durch alle echten Positiven. Findet ein Betrugsfilter 80 von 100 echten Betrugsfällen, liegt der Recall bei 0,8. Hoher Recall ist wichtig, wenn verpasste Fälle teuer sind, etwa bei Krankheitsdiagnosen. Da er Fehlalarme nicht berücksichtigt, wird er meist zusammen mit der Präzision betrachtet, zum Beispiel im F-Score.

Metrik
Modellbewertung
+1

Klassifizierer

Ein Klassifizierer ist ein Modell oder Verfahren, das Eingaben einer von mehreren festgelegten Kategorien zuordnet. Klassische Varianten werden mit beschrifteten Beispielen trainiert, etwa Entscheidungsbäume oder Naive Bayes; Sprachmodelle können Texte auch anhand einer Beschreibung der Kategorien einordnen. Typische Einsätze sind Spam-Erkennung, das Sortieren von Kundenanfragen nach Thema oder die Einstufung von Belegen. Die Qualität wird mit Kennzahlen wie Genauigkeit, Präzision und Recall gemessen.

Klassifikation
Maschinelles Lernen
+1

Vorlage

ROC-Kurve

Die ROC-Kurve (Receiver Operating Characteristic) zeigt, wie gut ein Klassifikationsmodell zwei Klassen trennt. Sie trägt für alle möglichen Entscheidungsschwellen die Trefferquote (Recall) gegen die Rate der Fehlalarme auf. Je weiter die Kurve in die linke obere Ecke ragt, desto besser; die Diagonale entspricht reinem Raten. Die Fläche darunter (AUC) fasst die Kurve in einer Zahl zusammen und hilft etwa beim Vergleich verschiedener Modelle zur Betrugserkennung.

Metrik
Modellbewertung
+1