Plocha pod křivkou (AUC) je metrika pro klasifikační modely, obvykle vztahovaná ke křivce ROC. Udává, jak dobře model odděluje pozitivní případy od negativních, nezávisle na konkrétním prahu. Hodnota 1 znamená dokonalé oddělení; 0,5 není lepší než hádání. Příklad: model odchodu zákazníků s AUC 0,85 zařadí náhodně vybraného odcházejícího zákazníka jako rizikovějšího než loajálního v 85 % případů.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoROC křivka (receiver operating characteristic) ukazuje, jak dobře klasifikační model odděluje dvě třídy. Pro každou možnou rozhodovací hranici vynáší míru skutečně pozitivních případů (recall) proti míře falešně pozitivních. Čím blíže se křivka blíží k levému hornímu rohu, tím lépe; úhlopříčka odpovídá čistému hádání. Plocha pod ní (AUC) křivku shrnuje do jednoho čísla a pomáhá například při porovnávání různých modelů pro odhalování podvodů.
F-skóre je metrika pro hodnocení klasifikačních modelů. Běžné F1 skóre je harmonický průměr přesnosti (kolik předpovězených zásahů je správných) a úplnosti (kolik skutečných zásahů bylo nalezeno) a pohybuje se od 0 do 1. Je užitečné zejména u nevyvážených dat: filtr spamu, který spam téměř nikdy neoznačí, může mít vysokou správnost, ale nízké F1 skóre.
Matice záměn (confusion matrix) je tabulka, která porovnává predikce klasifikátoru se skutečnými třídami. Pro dvě třídy ukazuje pravdivě pozitivní, falešně pozitivní, pravdivě negativní a falešně negativní případy. Z ní lze vypočítat metriky, jako jsou přesnost, úplnost a F1 skóre, a je z ní zřejmé, jaké chyby nastávají. Příklad: filtr spamu, který označuje mnoho skutečných e-mailů jako spam, má mnoho falešně pozitivních případů, což je často dražší než zmeškaný spam.
Log loss (logaritmická ztráta) měří, jak dobře predikované pravděpodobnosti klasifikačního modelu odpovídají skutečným výsledkům. Sebejisté, ale chybné predikce se penalizují obzvlášť silně; hodnota blízká nule značí dobře kalibrované předpovědi. Příklad: pokud model přiřadí 95% pravděpodobnost odchodu zákazníkovi, který zůstane, log loss prudce vzroste. Matematicky jde o totéž co binární křížová entropie.
