ROC līkne (receiver operating characteristic) parāda, cik labi klasifikācijas modelis nošķir divas klases. Katram iespējamam lēmuma slieksnim tā attēlo patieso pozitīvo rādītāju (pilnību) pret viltus pozitīvo rādītāju. Jo tuvāk līkne tuvojas augšējam kreisajam stūrim, jo labāk; diagonāle atbilst tīrai minēšanai. Laukums zem tās (AUC) apkopo līkni vienā skaitlī un palīdz, piemēram, salīdzinot dažādus krāpšanas atklāšanas modeļus.
Laukums zem līknes (AUC) ir klasifikācijas modeļu metrika, kas parasti attiecas uz ROC līkni. Tā norāda, cik labi modelis nošķir pozitīvos gadījumus no negatīviem, neatkarīgi no kāda konkrēta sliekšņa. Vērtība 1 nozīmē perfektu nošķiršanu; 0,5 nav labāks par minēšanu. Piemērs: klientu aiziešanas modelis ar AUC 0,85 nejauši izvēlētu klientu, kas aiziet, 85 % gadījumu novērtē kā riskantāku par lojālu klientu.
Pilnība (to sauc arī par jutīgumu vai patieso pozitīvo rādītāju) mēra, kādu daļu no faktiskajiem pozitīvajiem gadījumiem modelis atpazīst: pareizi identificētie pozitīvie, dalīti ar visiem reālajiem pozitīvajiem. Ja krāpšanas filtrs noķer 80 no 100 reāliem krāpšanas gadījumiem, tā pilnība ir 0,8. Augsta pilnība ir svarīga, ja palaistie gadījumi ir dārgi, piemēram, medicīniskajā diagnostikā. Tā kā tā neņem vērā viltus trauksmes, to parasti aplūko kopā ar precizitāti, piemēram, F-rādītājā.
Neskaidrību matrica ir tabula, kas salīdzina klasifikatora prognozes ar faktiskajām klasēm. Diviem klasēm tā parāda patiesi pozitīvos, viltus pozitīvos, patiesi negatīvos un viltus negatīvos gadījumus. No tās var aprēķināt tādas metrikas kā precizitāte, pārklājums un F1 rādītājs, un kļūst skaidrs, kādas kļūdas rodas. Piemērs: surogātpasta filtram, kas daudzus īstus e-pastus atzīmē kā surogātpastu, ir daudz viltus pozitīvu rezultātu, kas bieži ir dārgāk nekā nokavēts surogātpasta ziņojums.
Klasifikators ir modelis vai metode, kas ievaddatus piešķir vienai no vairākām iepriekš noteiktām kategorijām. Klasiskus variantus, piemēram, lēmumu kokus vai naivo Beijesa metodi, apmāca uz marķētiem piemēriem; valodas modeļi tekstus var šķirot arī pēc kategoriju apraksta. Tipiski lietojumi ir surogātpasta atpazīšana, klientu pieprasījumu šķirošana pēc tēmas un kvīšu kategorizēšana. Kvalitāti mēra ar metrikām, piemēram, pareizību, precizitāti un pārklājumu.
