Krzywa ROC (receiver operating characteristic) pokazuje, jak dobrze model klasyfikacyjny rozdziela dwie klasy. Dla każdego możliwego progu decyzyjnego przedstawia odsetek prawdziwie pozytywnych (czułość) w stosunku do odsetka fałszywie pozytywnych. Im bliżej lewego górnego rogu biegnie krzywa, tym lepiej; przekątna odpowiada czystemu zgadywaniu. Pole pod nią (AUC) streszcza krzywą w jednej liczbie i pomaga na przykład przy porównywaniu różnych modeli wykrywania oszustw.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoPole pod krzywą (AUC) to metryka modeli klasyfikacyjnych, zwykle odnosząca się do krzywej ROC. Wskazuje, jak dobrze model oddziela przypadki pozytywne od negatywnych, niezależnie od konkretnego progu. Wartość 1 oznacza doskonałe rozdzielenie; 0,5 nie jest lepsze niż zgadywanie. Przykład: model odejść klientów z AUC równym 0,85 w 85% przypadków uznaje losowo wybranego klienta, który odchodzi, za bardziej ryzykownego niż lojalnego.
Czułość (recall, nazywana też sensitivity lub wskaźnikiem prawdziwie pozytywnych) mierzy, jaką część rzeczywistych przypadków pozytywnych wykrywa model: poprawnie rozpoznane przypadki pozytywne podzielone przez wszystkie rzeczywiste przypadki pozytywne. Jeśli filtr oszustw wychwytuje 80 ze 100 rzeczywistych oszustw, jego czułość wynosi 0,8. Wysoka czułość ma znaczenie tam, gdzie pominięte przypadki są kosztowne, na przykład w diagnostyce medycznej. Ponieważ pomija fałszywe alarmy, zwykle rozpatruje się ją razem z precyzją, na przykład we wskaźniku F.
Macierz pomyłek (confusion matrix) to tabela porównująca przewidywania klasyfikatora z rzeczywistymi klasami. Dla dwóch klas pokazuje wyniki prawdziwie pozytywne, fałszywie pozytywne, prawdziwie negatywne i fałszywie negatywne. Na jej podstawie można obliczyć metryki takie jak precyzja, czułość i miara F1 oraz zobaczyć, jakie błędy występują. Przykład: filtr spamu, który oznacza wiele prawdziwych e-maili jako spam, ma wiele wyników fałszywie pozytywnych, co bywa kosztowniejsze niż pominięty spam.
Klasyfikator to model lub metoda, która przypisuje dane wejściowe do jednej z kilku z góry określonych kategorii. Klasyczne warianty, takie jak drzewa decyzyjne czy naiwny klasyfikator bayesowski, są trenowane na oznaczonych przykładach; modele językowe mogą też sortować teksty na podstawie opisu kategorii. Typowe zastosowania to wykrywanie spamu, sortowanie zapytań klientów według tematu i kategoryzowanie rachunków. Jakość mierzy się metrykami takimi jak dokładność, precyzja i czułość.
