Miara F to metryka do oceny modeli klasyfikacyjnych. Powszechna miara F1 jest średnią harmoniczną precyzji (ile spośród przewidzianych trafień jest poprawnych) i czułości (ile rzeczywistych trafień znaleziono) i przyjmuje wartości od 0 do 1. Jest szczególnie użyteczna przy danych niezrównoważonych: filtr spamu, który prawie nigdy nie oznacza spamu, może mieć wysoką dokładność, ale niską miarę F1.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoCzułość (recall, nazywana też sensitivity lub wskaźnikiem prawdziwie pozytywnych) mierzy, jaką część rzeczywistych przypadków pozytywnych wykrywa model: poprawnie rozpoznane przypadki pozytywne podzielone przez wszystkie rzeczywiste przypadki pozytywne. Jeśli filtr oszustw wychwytuje 80 ze 100 rzeczywistych oszustw, jego czułość wynosi 0,8. Wysoka czułość ma znaczenie tam, gdzie pominięte przypadki są kosztowne, na przykład w diagnostyce medycznej. Ponieważ pomija fałszywe alarmy, zwykle rozpatruje się ją razem z precyzją, na przykład we wskaźniku F.
Macierz pomyłek (confusion matrix) to tabela porównująca przewidywania klasyfikatora z rzeczywistymi klasami. Dla dwóch klas pokazuje wyniki prawdziwie pozytywne, fałszywie pozytywne, prawdziwie negatywne i fałszywie negatywne. Na jej podstawie można obliczyć metryki takie jak precyzja, czułość i miara F1 oraz zobaczyć, jakie błędy występują. Przykład: filtr spamu, który oznacza wiele prawdziwych e-maili jako spam, ma wiele wyników fałszywie pozytywnych, co bywa kosztowniejsze niż pominięty spam.
Pole pod krzywą (AUC) to metryka modeli klasyfikacyjnych, zwykle odnosząca się do krzywej ROC. Wskazuje, jak dobrze model oddziela przypadki pozytywne od negatywnych, niezależnie od konkretnego progu. Wartość 1 oznacza doskonałe rozdzielenie; 0,5 nie jest lepsze niż zgadywanie. Przykład: model odejść klientów z AUC równym 0,85 w 85% przypadków uznaje losowo wybranego klienta, który odchodzi, za bardziej ryzykownego niż lojalnego.
Dokładność top-k mierzy, jak często poprawna odpowiedź znajduje się wśród k najbardziej prawdopodobnych propozycji modelu. W top-1 liczy się tylko pierwsza predykcja; w top-5 wystarczy, że poprawna klasa jest wśród pięciu najlepszych – to znana metryka z benchmarków rozpoznawania obrazów, takich jak ImageNet. Przydaje się wszędzie tam, gdzie użytkownicy widzą kilka propozycji, na przykład w rekomendacjach produktów lub autouzupełnianiu.
