Površina ispod krivulje (AUC) metrika je za klasifikacijske modele, a obično se odnosi na ROC krivulju. Pokazuje koliko dobro model razdvaja pozitivne od negativnih slučajeva, neovisno o određenom pragu. Vrijednost 1 znači savršeno razdvajanje; 0,5 nije bolje od pogađanja. Primjer: model odlaska klijenata s AUC-om od 0,85 u 85 % slučajeva nasumično odabranog klijenta koji odlazi rangira kao rizičnijeg od lojalnog.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoROC krivulja (receiver operating characteristic) pokazuje koliko dobro model klasifikacije razdvaja dvije klase. Za svaki mogući prag odlučivanja prikazuje stopu istinitih pozitiva (odziv) u odnosu na stopu lažnih pozitiva. Što se krivulja više približava gornjem lijevom kutu, to je bolje; dijagonala odgovara čistom pogađanju. Površina ispod krivulje (AUC) sažima krivulju u jedan broj i pomaže, primjerice, pri usporedbi različitih modela za otkrivanje prijevara.
F-mjera je metrika za ocjenjivanje klasifikacijskih modela. Uobičajena F1 mjera je harmonijska sredina preciznosti (koliko je predviđenih pogodaka točno) i odziva (koliko je stvarnih pogodaka pronađeno), a kreće se od 0 do 1. Posebno je korisna kod neuravnoteženih podataka: filtar za spam koji gotovo nikad ne označi spam može imati visoku točnost, ali nisku F1 mjeru.
Matrica zabune (confusion matrix) tablica je koja uspoređuje predviđanja klasifikatora sa stvarnim klasama. Za dvije klase prikazuje istinito pozitivne, lažno pozitivne, istinito negativne i lažno negativne slučajeve. Iz toga se mogu izračunati metrike poput preciznosti, odziva i F1 mjere te postaje jasno koje se pogreške javljaju. Primjer: filtar za spam koji mnoge prave e-poruke označi kao spam ima mnogo lažno pozitivnih, što je često skuplje od propuštene spam poruke.
Log loss (logaritamski gubitak) mjeri koliko se predviđene vjerojatnosti klasifikacijskog modela podudaraju sa stvarnim ishodima. Samouvjerena, ali pogrešna predviđanja kažnjavaju se posebno snažno; vrijednost blizu nule upućuje na dobro kalibrirane prognoze. Primjer: ako model klijentu koji ostaje dodijeli 95 % vjerojatnosti odlaska, log loss naglo raste. Matematički je isto što i binarna unakrsna entropija.
