Krivulja ROC (receiver operating characteristic) pokaže, kako dobro model razvrščanja loči dva razreda. Za vsak možen prag odločanja prikaže stopnjo pravih pozitivnih (priklic) glede na stopnjo lažnih pozitivnih. Bližje ko krivulja sega zgornjemu levemu kotu, boljše je; diagonala ustreza povsem naključnemu ugibanju. Površina pod njo (AUC) krivuljo povzame v eni številki in pomaga na primer pri primerjavi različnih modelov za zaznavanje goljufij.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevPovršina pod krivuljo (AUC) je merilo za klasifikacijske modele, ki običajno zadeva krivuljo ROC. Pove, kako dobro model loči pozitivne od negativnih primerov, neodvisno od določenega praga. Vrednost 1 pomeni popolno ločevanje; 0,5 ni nič boljše od ugibanja. Primer: model odhoda strank z AUC 0,85 naključno izbrano stranko, ki odide, v 85 % primerov razvrsti kot tvegano bolj od zveste.
Priklic (imenovan tudi občutljivost ali stopnja pravih pozitivnih) meri, kolikšen delež dejanskih pozitivnih primerov model zazna: pravilno prepoznani pozitivni primeri, deljeni z vsemi resničnimi pozitivnimi. Če filter goljufij ujame 80 od 100 resničnih primerov goljufije, je njegov priklic 0,8. Visok priklic je pomemben, kadar so spregledani primeri dragi, na primer pri medicinski diagnostiki. Ker ne upošteva lažnih alarmov, se običajno obravnava skupaj z natančnostjo, na primer v meri F.
Matrika zmot (confusion matrix) je tabela, ki napovedi klasifikatorja primerja z dejanskimi razredi. Pri dveh razredih prikaže resnične pozitivne, lažne pozitivne, resnične negativne in lažne negativne primere. Iz nje je mogoče izračunati merila, kot so natančnost, priklic in ocena F1, jasno pa postane tudi, katere napake se pojavljajo. Primer: filter neželene pošte, ki mnoga prava sporočila označi kot neželena, ima veliko lažnih pozitivnih primerov, kar je pogosto dražje kot zgrešena neželena pošta.
Klasifikator je model ali metoda, ki vnose uvrsti v eno od več vnaprej določenih kategorij. Klasične različice, kot so odločitvena drevesa ali naivni Bayes, se učijo na označenih primerih; jezikovni modeli lahko besedila razvrščajo tudi na podlagi opisa kategorij. Tipična uporaba so prepoznavanje neželene pošte, razvrščanje povpraševanj strank po temah in razvrščanje računov. Kakovost se meri z merili, kot so točnost, natančnost in priklic.
