ROC kreivė (angl. receiver operating characteristic) parodo, kaip gerai klasifikavimo modelis atskiria dvi klases. Kiekvienai galimai sprendimo ribai ji vaizduoja tikrųjų teigiamų atvejų dažnį (atkūrimą) palyginti su klaidingų teigiamų atvejų dažniu. Kuo kreivė arčiau viršutinio kairiojo kampo, tuo geriau; įstrižainė atitinka paprastą spėliojimą. Plotas po kreive (AUC) apibendrina kreivę vienu skaičiumi ir padeda, pavyzdžiui, lyginant skirtingus sukčiavimo aptikimo modelius.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąPlotas po kreive (angl. area under the curve, AUC) yra klasifikavimo modelių rodiklis, paprastai susijęs su ROC kreive. Jis parodo, kaip gerai modelis atskiria teigiamus ir neigiamus atvejus, nepriklausomai nuo konkretaus slenksčio. Reikšmė 1 reiškia tobulą atskyrimą; 0,5 – ne geriau nei spėjimas. Pavyzdys: klientų nutekėjimo modelis, kurio AUC yra 0,85, atsitiktinai pasirinktą išeinantį klientą 85 % atvejų įvertina kaip rizikingesnį nei ištikimą.
Atkūrimas (angl. recall, dar vadinamas jautrumu ar tikrųjų teigiamų atvejų dažniu) parodo, kokią tikrųjų teigiamų atvejų dalį modelis aptinka: teisingai atpažinti teigiami atvejai, padalyti iš visų tikrų teigiamų atvejų. Jei sukčiavimo filtras pagauna 80 iš 100 tikrų sukčiavimo atvejų, jo atkūrimas yra 0,8. Didelis atkūrimas svarbus, kai praleisti atvejai brangiai kainuoja, pavyzdžiui, medicininėje diagnostikoje. Kadangi jis nepaiso klaidingų aliarmų, paprastai vertinamas kartu su tikslumu (precision), pavyzdžiui, F rodiklyje.
Klaidų matrica – tai lentelė, lyginanti klasifikatoriaus prognozes su tikromis klasėmis. Dviejų klasių atveju ji rodo teisingai teigiamus, klaidingai teigiamus, teisingai neigiamus ir klaidingai neigiamus atvejus. Iš jos galima apskaičiuoti tokius rodiklius kaip tikslumas (precision), pilnumas (recall) ir F1 balas, ir tampa aišku, kokių klaidų pasitaiko. Pavyzdys: šlamšto filtras, daug tikrų el. laiškų pažymintis kaip šlamštą, turi daug klaidingai teigiamų atvejų, o tai dažnai kainuoja brangiau nei praleistas šlamštas.
Klasifikatorius – tai modelis ar metodas, priskiriantis įvestį vienai iš kelių iš anksto apibrėžtų kategorijų. Klasikiniai variantai, tokie kaip sprendimų medžiai ar naivusis Bajeso klasifikatorius, mokomi su pažymėtais pavyzdžiais; kalbos modeliai taip pat gali rūšiuoti tekstus pagal kategorijų aprašymą. Tipiniai taikymai: šlamšto aptikimas, klientų užklausų rūšiavimas pagal temą ir kvitų kategorizavimas. Kokybė matuojama rodikliais, tokiais kaip tikslumas (accuracy), tikslumas (precision) ir pilnumas (recall).
