Die Top-k-Genauigkeit misst, wie oft die richtige Antwort unter den k wahrscheinlichsten Vorschlägen eines Modells liegt. Bei Top-1 zählt nur der erste Treffer, bei Top-5 genügt es, wenn die korrekte Klasse unter den fünf besten ist – eine bekannte Kennzahl aus Bilderkennungs-Wettbewerben wie ImageNet. Sinnvoll ist sie überall, wo Nutzer mehrere Vorschläge sehen, etwa bei Produktempfehlungen oder Autovervollständigung.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenEine Konfusionsmatrix ist eine Tabelle, die die Vorhersagen eines Klassifizierers den tatsächlichen Klassen gegenüberstellt. Bei zwei Klassen zeigt sie richtig positive, falsch positive, richtig negative und falsch negative Fälle. Daraus lassen sich Kennzahlen wie Präzision, Recall und F1-Score berechnen und erkennen, welche Fehler auftreten. Beispiel: Ein Spamfilter, der viele echte E-Mails als Spam markiert, hat viele falsch positive Fälle – das ist oft teurer als ein übersehener Spam.
Mean Average Precision (mAP) ist eine Kennzahl, die bewertet, wie gut ein System relevante Ergebnisse findet und weit oben einordnet. Für jede Anfrage oder Objektklasse wird die durchschnittliche Präzision über die Trefferliste berechnet; mAP ist der Mittelwert über alle. Die Kennzahl ist Standard bei Suchmaschinen, Empfehlungssystemen und der Objekterkennung in Bildern, wo sie zusätzlich von der geforderten Überlappung der Begrenzungsrahmen abhängt.
Der F-Score ist eine Kennzahl zur Bewertung von Klassifikationsmodellen. Das gebräuchliche F1-Maß ist das harmonische Mittel aus Präzision (wie viele der gefundenen Treffer stimmen) und Recall (wie viele der tatsächlichen Treffer gefunden wurden) und liegt zwischen 0 und 1. Es ist besonders nützlich bei unausgewogenen Daten: Ein Spamfilter, der fast nie Spam meldet, hat hohe Genauigkeit, aber einen niedrigen F1-Wert.
Ein Klassifizierer ist ein Modell oder Verfahren, das Eingaben einer von mehreren festgelegten Kategorien zuordnet. Klassische Varianten werden mit beschrifteten Beispielen trainiert, etwa Entscheidungsbäume oder Naive Bayes; Sprachmodelle können Texte auch anhand einer Beschreibung der Kategorien einordnen. Typische Einsätze sind Spam-Erkennung, das Sortieren von Kundenanfragen nach Thema oder die Einstufung von Belegen. Die Qualität wird mit Kennzahlen wie Genauigkeit, Präzision und Recall gemessen.
