Plotas po kreive (angl. area under the curve, AUC) yra klasifikavimo modelių rodiklis, paprastai susijęs su ROC kreive. Jis parodo, kaip gerai modelis atskiria teigiamus ir neigiamus atvejus, nepriklausomai nuo konkretaus slenksčio. Reikšmė 1 reiškia tobulą atskyrimą; 0,5 – ne geriau nei spėjimas. Pavyzdys: klientų nutekėjimo modelis, kurio AUC yra 0,85, atsitiktinai pasirinktą išeinantį klientą 85 % atvejų įvertina kaip rizikingesnį nei ištikimą.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąROC kreivė (angl. receiver operating characteristic) parodo, kaip gerai klasifikavimo modelis atskiria dvi klases. Kiekvienai galimai sprendimo ribai ji vaizduoja tikrųjų teigiamų atvejų dažnį (atkūrimą) palyginti su klaidingų teigiamų atvejų dažniu. Kuo kreivė arčiau viršutinio kairiojo kampo, tuo geriau; įstrižainė atitinka paprastą spėliojimą. Plotas po kreive (AUC) apibendrina kreivę vienu skaičiumi ir padeda, pavyzdžiui, lyginant skirtingus sukčiavimo aptikimo modelius.
F balas yra klasifikavimo modeliams vertinti skirtas rodiklis. Įprastas F1 balas – tai tikslumo (kiek prognozuotų pataikymų yra teisingi) ir pilnumo (kiek tikrų pataikymų rasta) harmoninis vidurkis, kintantis nuo 0 iki 1. Jis ypač naudingas nesubalansuotų duomenų atveju: šlamšto filtras, kuris beveik niekada nežymi šlamšto, gali turėti aukštą tikslumą (accuracy), bet žemą F1 balą.
Klaidų matrica – tai lentelė, lyginanti klasifikatoriaus prognozes su tikromis klasėmis. Dviejų klasių atveju ji rodo teisingai teigiamus, klaidingai teigiamus, teisingai neigiamus ir klaidingai neigiamus atvejus. Iš jos galima apskaičiuoti tokius rodiklius kaip tikslumas (precision), pilnumas (recall) ir F1 balas, ir tampa aišku, kokių klaidų pasitaiko. Pavyzdys: šlamšto filtras, daug tikrų el. laiškų pažymintis kaip šlamštą, turi daug klaidingai teigiamų atvejų, o tai dažnai kainuoja brangiau nei praleistas šlamštas.
Logaritminis nuostolis (angl. log loss, logarithmic loss) matuoja, kaip gerai klasifikavimo modelio prognozuotos tikimybės atitinka tikrus rezultatus. Užtikrintos, bet klaidingos prognozės baudžiamos ypač stipriai; artima nuliui reikšmė rodo gerai sukalibruotas prognozes. Pavyzdys: jei modelis klientui, kuris pasilieka, priskiria 95 % nutekėjimo tikimybę, logaritminis nuostolis smarkiai išauga. Matematiškai tai tas pats, kas dvejetainė kryžminė entropija.
