F-skóre je metrika pro hodnocení klasifikačních modelů. Běžné F1 skóre je harmonický průměr přesnosti (kolik předpovězených zásahů je správných) a úplnosti (kolik skutečných zásahů bylo nalezeno) a pohybuje se od 0 do 1. Je užitečné zejména u nevyvážených dat: filtr spamu, který spam téměř nikdy neoznačí, může mít vysokou správnost, ale nízké F1 skóre.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoÚplnost (recall; též citlivost nebo míra skutečně pozitivních) měří, jaký podíl skutečně pozitivních případů model odhalí: správně rozpoznané pozitivní případy dělené všemi skutečně pozitivními. Pokud filtr podvodů zachytí 80 ze 100 skutečných podvodů, je jeho úplnost 0,8. Vysoká úplnost je důležitá tam, kde jsou přehlédnuté případy nákladné, například při lékařské diagnostice. Protože ignoruje plané poplachy, posuzuje se obvykle společně s přesností (precision), například v podobě skóre F.
Matice záměn (confusion matrix) je tabulka, která porovnává predikce klasifikátoru se skutečnými třídami. Pro dvě třídy ukazuje pravdivě pozitivní, falešně pozitivní, pravdivě negativní a falešně negativní případy. Z ní lze vypočítat metriky, jako jsou přesnost, úplnost a F1 skóre, a je z ní zřejmé, jaké chyby nastávají. Příklad: filtr spamu, který označuje mnoho skutečných e-mailů jako spam, má mnoho falešně pozitivních případů, což je často dražší než zmeškaný spam.
Plocha pod křivkou (AUC) je metrika pro klasifikační modely, obvykle vztahovaná ke křivce ROC. Udává, jak dobře model odděluje pozitivní případy od negativních, nezávisle na konkrétním prahu. Hodnota 1 znamená dokonalé oddělení; 0,5 není lepší než hádání. Příklad: model odchodu zákazníků s AUC 0,85 zařadí náhodně vybraného odcházejícího zákazníka jako rizikovějšího než loajálního v 85 % případů.
Přesnost top-k měří, jak často je správná odpověď mezi k nejpravděpodobnějšími návrhy modelu. U top-1 se počítá jen první předpověď; u top-5 stačí, aby správná třída byla mezi pěti nejlepšími, což je známá metrika z benchmarků rozpoznávání obrazu, jako je ImageNet. Je užitečná všude tam, kde uživatelé vidí několik návrhů, například u doporučení produktů nebo automatického doplňování.
