Površina pod krivuljo (AUC) je merilo za klasifikacijske modele, ki običajno zadeva krivuljo ROC. Pove, kako dobro model loči pozitivne od negativnih primerov, neodvisno od določenega praga. Vrednost 1 pomeni popolno ločevanje; 0,5 ni nič boljše od ugibanja. Primer: model odhoda strank z AUC 0,85 naključno izbrano stranko, ki odide, v 85 % primerov razvrsti kot tvegano bolj od zveste.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevKrivulja ROC (receiver operating characteristic) pokaže, kako dobro model razvrščanja loči dva razreda. Za vsak možen prag odločanja prikaže stopnjo pravih pozitivnih (priklic) glede na stopnjo lažnih pozitivnih. Bližje ko krivulja sega zgornjemu levemu kotu, boljše je; diagonala ustreza povsem naključnemu ugibanju. Površina pod njo (AUC) krivuljo povzame v eni številki in pomaga na primer pri primerjavi različnih modelov za zaznavanje goljufij.
Ocena F je merilo za vrednotenje klasifikacijskih modelov. Običajna ocena F1 je harmonična sredina natančnosti (koliko napovedanih zadetkov je pravilnih) in priklica (koliko dejanskih zadetkov je bilo najdenih) ter se giblje od 0 do 1. Posebej je uporabna pri neuravnoteženih podatkih: filter neželene pošte, ki skoraj nikoli ne označi neželene pošte, ima lahko visoko točnost, a nizko oceno F1.
Matrika zmot (confusion matrix) je tabela, ki napovedi klasifikatorja primerja z dejanskimi razredi. Pri dveh razredih prikaže resnične pozitivne, lažne pozitivne, resnične negativne in lažne negativne primere. Iz nje je mogoče izračunati merila, kot so natančnost, priklic in ocena F1, jasno pa postane tudi, katere napake se pojavljajo. Primer: filter neželene pošte, ki mnoga prava sporočila označi kot neželena, ima veliko lažnih pozitivnih primerov, kar je pogosto dražje kot zgrešena neželena pošta.
Logaritemska izguba (log loss) meri, kako dobro se napovedane verjetnosti klasifikacijskega modela ujemajo z dejanskimi izidi. Samozavestne, a napačne napovedi so kaznovane še posebej močno; vrednost blizu ničle kaže na dobro kalibrirane napovedi. Primer: če model za stranko, ki ostane, poda 95-odstotno verjetnost odhoda, logaritemska izguba močno naraste. Matematično je enaka binarni navzkrižni entropiji.
