ROC křivka (receiver operating characteristic) ukazuje, jak dobře klasifikační model odděluje dvě třídy. Pro každou možnou rozhodovací hranici vynáší míru skutečně pozitivních případů (recall) proti míře falešně pozitivních. Čím blíže se křivka blíží k levému hornímu rohu, tím lépe; úhlopříčka odpovídá čistému hádání. Plocha pod ní (AUC) křivku shrnuje do jednoho čísla a pomáhá například při porovnávání různých modelů pro odhalování podvodů.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoPlocha pod křivkou (AUC) je metrika pro klasifikační modely, obvykle vztahovaná ke křivce ROC. Udává, jak dobře model odděluje pozitivní případy od negativních, nezávisle na konkrétním prahu. Hodnota 1 znamená dokonalé oddělení; 0,5 není lepší než hádání. Příklad: model odchodu zákazníků s AUC 0,85 zařadí náhodně vybraného odcházejícího zákazníka jako rizikovějšího než loajálního v 85 % případů.
Úplnost (recall; též citlivost nebo míra skutečně pozitivních) měří, jaký podíl skutečně pozitivních případů model odhalí: správně rozpoznané pozitivní případy dělené všemi skutečně pozitivními. Pokud filtr podvodů zachytí 80 ze 100 skutečných podvodů, je jeho úplnost 0,8. Vysoká úplnost je důležitá tam, kde jsou přehlédnuté případy nákladné, například při lékařské diagnostice. Protože ignoruje plané poplachy, posuzuje se obvykle společně s přesností (precision), například v podobě skóre F.
Matice záměn (confusion matrix) je tabulka, která porovnává predikce klasifikátoru se skutečnými třídami. Pro dvě třídy ukazuje pravdivě pozitivní, falešně pozitivní, pravdivě negativní a falešně negativní případy. Z ní lze vypočítat metriky, jako jsou přesnost, úplnost a F1 skóre, a je z ní zřejmé, jaké chyby nastávají. Příklad: filtr spamu, který označuje mnoho skutečných e-mailů jako spam, má mnoho falešně pozitivních případů, což je často dražší než zmeškaný spam.
Klasifikátor je model nebo metoda, která přiřazuje vstupy do jedné z několika předem definovaných kategorií. Klasické varianty, například rozhodovací stromy nebo naivní Bayes, se trénují na označených příkladech; jazykové modely mohou texty třídit také na základě popisu kategorií. Typickým využitím je rozpoznávání spamu, třídění zákaznických dotazů podle témat a kategorizace účtenek. Kvalita se měří metrikami, jako jsou správnost, přesnost a úplnost.
