Dokładność top-k mierzy, jak często poprawna odpowiedź znajduje się wśród k najbardziej prawdopodobnych propozycji modelu. W top-1 liczy się tylko pierwsza predykcja; w top-5 wystarczy, że poprawna klasa jest wśród pięciu najlepszych – to znana metryka z benchmarków rozpoznawania obrazów, takich jak ImageNet. Przydaje się wszędzie tam, gdzie użytkownicy widzą kilka propozycji, na przykład w rekomendacjach produktów lub autouzupełnianiu.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoMacierz pomyłek (confusion matrix) to tabela porównująca przewidywania klasyfikatora z rzeczywistymi klasami. Dla dwóch klas pokazuje wyniki prawdziwie pozytywne, fałszywie pozytywne, prawdziwie negatywne i fałszywie negatywne. Na jej podstawie można obliczyć metryki takie jak precyzja, czułość i miara F1 oraz zobaczyć, jakie błędy występują. Przykład: filtr spamu, który oznacza wiele prawdziwych e-maili jako spam, ma wiele wyników fałszywie pozytywnych, co bywa kosztowniejsze niż pominięty spam.
Średnia precyzja uśredniona (mean average precision, mAP) to metryka oceniająca, jak dobrze system znajduje trafne wyniki i umieszcza je blisko szczytu listy. Średnią precyzję oblicza się na liście wyników dla każdego zapytania lub klasy obiektów; mAP jest średnią ze wszystkich. Jest standardową miarą dla wyszukiwarek, systemów rekomendacji i wykrywania obiektów na obrazach, gdzie zależy też od wymaganego nakładania się ramek ograniczających.
Miara F to metryka do oceny modeli klasyfikacyjnych. Powszechna miara F1 jest średnią harmoniczną precyzji (ile spośród przewidzianych trafień jest poprawnych) i czułości (ile rzeczywistych trafień znaleziono) i przyjmuje wartości od 0 do 1. Jest szczególnie użyteczna przy danych niezrównoważonych: filtr spamu, który prawie nigdy nie oznacza spamu, może mieć wysoką dokładność, ale niską miarę F1.
Klasyfikator to model lub metoda, która przypisuje dane wejściowe do jednej z kilku z góry określonych kategorii. Klasyczne warianty, takie jak drzewa decyzyjne czy naiwny klasyfikator bayesowski, są trenowane na oznaczonych przykładach; modele językowe mogą też sortować teksty na podstawie opisu kategorii. Typowe zastosowania to wykrywanie spamu, sortowanie zapytań klientów według tematu i kategoryzowanie rachunków. Jakość mierzy się metrykami takimi jak dokładność, precyzja i czułość.
