Plocha pod krivkou (AUC, area under the curve) je metrika pre klasifikačné modely, ktorá sa zvyčajne vzťahuje na krivku ROC. Udáva, ako dobre model oddeľuje pozitívne a negatívne prípady, nezávisle od konkrétnej prahovej hodnoty. Hodnota 1 znamená dokonalé oddelenie; 0,5 nie je lepšie než hádanie. Príklad: model odchodu zákazníkov s AUC 0,85 zaradí náhodne vybraného zákazníka, ktorý odíde, ako rizikovejšieho než verného v 85 % prípadov.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoKrivka ROC (receiver operating characteristic) ukazuje, nakoľko dobre klasifikačný model oddeľuje dve triedy. Pre každý možný rozhodovací prah zobrazuje mieru skutočne pozitívnych (recall) voči miere falošne pozitívnych. Čím viac sa krivka blíži k ľavému hornému rohu, tým lepšie; uhlopriečka zodpovedá čistému hádaniu. Plocha pod ňou (AUC) zhŕňa krivku do jediného čísla a pomáha napríklad pri porovnávaní rôznych modelov na odhaľovanie podvodov.
Skóre F je metrika na hodnotenie klasifikačných modelov. Bežné skóre F1 je harmonický priemer presnosti (koľko predpovedaných zásahov je správnych) a úplnosti (koľko skutočných zásahov sa našlo) a pohybuje sa od 0 do 1. Je užitočné najmä pri nevyvážených údajoch: filter spamu, ktorý spam takmer nikdy neoznačí, môže mať vysokú správnosť, ale nízke skóre F1.
Matica zámen (confusion matrix) je tabuľka, ktorá porovnáva predpovede klasifikátora so skutočnými triedami. Pri dvoch triedach ukazuje skutočne pozitívne, falošne pozitívne, skutočne negatívne a falošne negatívne prípady. Z nej možno vypočítať metriky, ako sú presnosť, úplnosť a skóre F1, a je jasné, aké chyby sa vyskytujú. Príklad: filter spamu, ktorý označí veľa skutočných e-mailov ako spam, má veľa falošne pozitívnych výsledkov, čo je často drahšie než prehliadnutá spamová správa.
Log loss (logaritmická strata) meria, nakoľko dobre predpovedané pravdepodobnosti klasifikačného modelu zodpovedajú skutočným výsledkom. Sebavedomé, ale nesprávne predpovede sa penalizujú obzvlášť prísne; hodnota blízka nule ukazuje dobre kalibrované predpovede. Príklad: ak model dá zákazníkovi, ktorý zostane, 95 % pravdepodobnosť odchodu, log loss prudko vzrastie. Matematicky je to to isté ako binárna krížová entropia.
