Laukums zem līknes (AUC) ir klasifikācijas modeļu metrika, kas parasti attiecas uz ROC līkni. Tā norāda, cik labi modelis nošķir pozitīvos gadījumus no negatīviem, neatkarīgi no kāda konkrēta sliekšņa. Vērtība 1 nozīmē perfektu nošķiršanu; 0,5 nav labāks par minēšanu. Piemērs: klientu aiziešanas modelis ar AUC 0,85 nejauši izvēlētu klientu, kas aiziet, 85 % gadījumu novērtē kā riskantāku par lojālu klientu.
ROC līkne (receiver operating characteristic) parāda, cik labi klasifikācijas modelis nošķir divas klases. Katram iespējamam lēmuma slieksnim tā attēlo patieso pozitīvo rādītāju (pilnību) pret viltus pozitīvo rādītāju. Jo tuvāk līkne tuvojas augšējam kreisajam stūrim, jo labāk; diagonāle atbilst tīrai minēšanai. Laukums zem tās (AUC) apkopo līkni vienā skaitlī un palīdz, piemēram, salīdzinot dažādus krāpšanas atklāšanas modeļus.
F rādītājs ir klasifikācijas modeļu novērtēšanas metrika. Plaši lietotais F1 rādītājs ir precizitātes (cik daudz no prognozētajiem trāpījumiem ir pareizi) un pārklājuma (cik daudz no faktiskajiem trāpījumiem tika atrasti) harmoniskais vidējais, un tas svārstās no 0 līdz 1. Tas ir īpaši noderīgs ar nesabalansētiem datiem: surogātpasta filtram, kas gandrīz nekad neatzīmē surogātpastu, var būt augsta pareizība, bet zems F1 rādītājs.
Neskaidrību matrica ir tabula, kas salīdzina klasifikatora prognozes ar faktiskajām klasēm. Diviem klasēm tā parāda patiesi pozitīvos, viltus pozitīvos, patiesi negatīvos un viltus negatīvos gadījumus. No tās var aprēķināt tādas metrikas kā precizitāte, pārklājums un F1 rādītājs, un kļūst skaidrs, kādas kļūdas rodas. Piemērs: surogātpasta filtram, kas daudzus īstus e-pastus atzīmē kā surogātpastu, ir daudz viltus pozitīvu rezultātu, kas bieži ir dārgāk nekā nokavēts surogātpasta ziņojums.
Logaritmiskais zudums (log loss) mēra, cik labi klasifikācijas modeļa prognozētās varbūtības atbilst faktiskajiem iznākumiem. Pārliecinātas, bet nepareizas prognozes tiek sodītas īpaši stipri; vērtība tuvu nullei norāda uz labi kalibrētām prognozēm. Piemērs: ja modelis dod 95 % klienta aiziešanas varbūtību klientam, kurš paliek, logaritmiskais zudums strauji pieaug. Matemātiski tas ir tas pats, kas binārā krustentropija.
