Der F-Score ist eine Kennzahl zur Bewertung von Klassifikationsmodellen. Das gebräuchliche F1-Maß ist das harmonische Mittel aus Präzision (wie viele der gefundenen Treffer stimmen) und Recall (wie viele der tatsächlichen Treffer gefunden wurden) und liegt zwischen 0 und 1. Es ist besonders nützlich bei unausgewogenen Daten: Ein Spamfilter, der fast nie Spam meldet, hat hohe Genauigkeit, aber einen niedrigen F1-Wert.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenRecall (Trefferquote, Sensitivität) misst, welchen Anteil der tatsächlich positiven Fälle ein Modell erkennt: richtig erkannte Positive geteilt durch alle echten Positiven. Findet ein Betrugsfilter 80 von 100 echten Betrugsfällen, liegt der Recall bei 0,8. Hoher Recall ist wichtig, wenn verpasste Fälle teuer sind, etwa bei Krankheitsdiagnosen. Da er Fehlalarme nicht berücksichtigt, wird er meist zusammen mit der Präzision betrachtet, zum Beispiel im F-Score.
Eine Konfusionsmatrix ist eine Tabelle, die die Vorhersagen eines Klassifizierers den tatsächlichen Klassen gegenüberstellt. Bei zwei Klassen zeigt sie richtig positive, falsch positive, richtig negative und falsch negative Fälle. Daraus lassen sich Kennzahlen wie Präzision, Recall und F1-Score berechnen und erkennen, welche Fehler auftreten. Beispiel: Ein Spamfilter, der viele echte E-Mails als Spam markiert, hat viele falsch positive Fälle – das ist oft teurer als ein übersehener Spam.
Die Fläche unter der Kurve (Area Under the Curve, AUC) ist eine Kennzahl für Klassifikationsmodelle, meist bezogen auf die ROC-Kurve. Sie gibt an, wie gut ein Modell positive von negativen Fällen trennt – unabhängig von einem bestimmten Schwellenwert. Ein Wert von 1 bedeutet perfekte Trennung, 0,5 entspricht Raten. Beispiel: Ein Kündigungsmodell mit AUC 0,85 stuft einen zufällig gewählten Kündiger in 85 % der Fälle riskanter ein als einen treuen Kunden.
Die Top-k-Genauigkeit misst, wie oft die richtige Antwort unter den k wahrscheinlichsten Vorschlägen eines Modells liegt. Bei Top-1 zählt nur der erste Treffer, bei Top-5 genügt es, wenn die korrekte Klasse unter den fünf besten ist – eine bekannte Kennzahl aus Bilderkennungs-Wettbewerben wie ImageNet. Sinnvoll ist sie überall, wo Nutzer mehrere Vorschläge sehen, etwa bei Produktempfehlungen oder Autovervollständigung.
