ROC-kõver (receiver operating characteristic) näitab, kui hästi klassifitseerimismudel kaht klassi eraldab. Iga võimaliku otsuslävendi jaoks kujutab see tõeliselt positiivsete määra (saagist) valepositiivsete määra suhtes. Mida lähemale kõver ülemisele vasakule nurgale ulatub, seda parem; diagonaal vastab puhtale äraarvamisele. Selle all olev pindala (AUC) võtab kõvera kokku ühe arvuna ja aitab näiteks eri pettusetuvastusmudelite võrdlemisel.
Kõvera alune pindala (area under the curve, AUC) on klassifitseerimismudelite mõõdik, mis viitab tavaliselt ROC-kõverale. See näitab, kui hästi mudel positiivseid ja negatiivseid juhtumeid eristab, sõltumata konkreetsest lävendist. Väärtus 1 tähendab täiuslikku eristamist; 0,5 pole parem kui ära arvamine. Näide: AUC-ga 0,85 klientide lahkumise mudel järjestab juhuslikult valitud lahkuva kliendi riskantsemaks kui truu kliendi 85% juhtudest.
Saagis (recall, ka tundlikkus või tõeliselt positiivsete määr) mõõdab, kui suure osa tegelikest positiivsetest juhtumitest mudel tuvastab: õigesti tuvastatud positiivsed jagatud kõigi tegelike positiivsetega. Kui pettusefilter püüab kinni 80 tegelikku pettusejuhtumit 100-st, on selle saagis 0,8. Kõrge saagis on oluline, kui märkamata jäänud juhtumid on kulukad, näiteks meditsiinilises diagnostikas. Kuna see ei arvesta valehäireid, vaadeldakse seda tavaliselt koos täpsusega, näiteks F-skooris.
Eksimismaatriks (confusion matrix) on tabel, mis võrdleb klassifikaatori ennustusi tegelike klassidega. Kahe klassi puhul näitab see tõeselt positiivseid, valepositiivseid, tõeselt negatiivseid ja valenegatiivseid. Sellest saab arvutada mõõdikuid nagu täpsus, saagis ja F1-skoor ning selgub, millised vead esinevad. Näide: rämpsposti filter, mis märgib palju õigeid e-kirju rämpspostiks, annab palju valepositiivseid, mis on sageli kulukam kui märkamata jäänud rämpspostisõnum.
Klassifikaator on mudel või meetod, mis määrab sisendid ühte mitmest etteantud kategooriast. Klassikalisi variante, nagu otsustuspuud või naiivne Bayes, treenitakse märgendatud näidetega; keelemudelid saavad tekste sorteerida ka kategooriate kirjelduse põhjal. Tüüpilised kasutusalad on rämpsposti tuvastamine, klienditaotluste sorteerimine teemade kaupa ja kviitungite kategoriseerimine. Kvaliteeti mõõdetakse selliste mõõdikutega nagu täpsus (accuracy), täpsus (precision) ja saagis (recall).
