Pole pod krzywą (AUC) to metryka modeli klasyfikacyjnych, zwykle odnosząca się do krzywej ROC. Wskazuje, jak dobrze model oddziela przypadki pozytywne od negatywnych, niezależnie od konkretnego progu. Wartość 1 oznacza doskonałe rozdzielenie; 0,5 nie jest lepsze niż zgadywanie. Przykład: model odejść klientów z AUC równym 0,85 w 85% przypadków uznaje losowo wybranego klienta, który odchodzi, za bardziej ryzykownego niż lojalnego.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoKrzywa ROC (receiver operating characteristic) pokazuje, jak dobrze model klasyfikacyjny rozdziela dwie klasy. Dla każdego możliwego progu decyzyjnego przedstawia odsetek prawdziwie pozytywnych (czułość) w stosunku do odsetka fałszywie pozytywnych. Im bliżej lewego górnego rogu biegnie krzywa, tym lepiej; przekątna odpowiada czystemu zgadywaniu. Pole pod nią (AUC) streszcza krzywą w jednej liczbie i pomaga na przykład przy porównywaniu różnych modeli wykrywania oszustw.
Miara F to metryka do oceny modeli klasyfikacyjnych. Powszechna miara F1 jest średnią harmoniczną precyzji (ile spośród przewidzianych trafień jest poprawnych) i czułości (ile rzeczywistych trafień znaleziono) i przyjmuje wartości od 0 do 1. Jest szczególnie użyteczna przy danych niezrównoważonych: filtr spamu, który prawie nigdy nie oznacza spamu, może mieć wysoką dokładność, ale niską miarę F1.
Macierz pomyłek (confusion matrix) to tabela porównująca przewidywania klasyfikatora z rzeczywistymi klasami. Dla dwóch klas pokazuje wyniki prawdziwie pozytywne, fałszywie pozytywne, prawdziwie negatywne i fałszywie negatywne. Na jej podstawie można obliczyć metryki takie jak precyzja, czułość i miara F1 oraz zobaczyć, jakie błędy występują. Przykład: filtr spamu, który oznacza wiele prawdziwych e-maili jako spam, ma wiele wyników fałszywie pozytywnych, co bywa kosztowniejsze niż pominięty spam.
Log loss (strata logarytmiczna) mierzy, jak dobrze przewidywane prawdopodobieństwa modelu klasyfikacyjnego zgadzają się z rzeczywistymi wynikami. Pewne siebie, ale błędne przewidywania są karane szczególnie mocno; wartość bliska zeru wskazuje na dobrze skalibrowane prognozy. Przykład: jeśli model przypisuje 95% prawdopodobieństwa odejścia klientowi, który zostaje, log loss gwałtownie rośnie. Matematycznie jest tożsamy z binarną entropią krzyżową.
