Přesnost top-k měří, jak často je správná odpověď mezi k nejpravděpodobnějšími návrhy modelu. U top-1 se počítá jen první předpověď; u top-5 stačí, aby správná třída byla mezi pěti nejlepšími, což je známá metrika z benchmarků rozpoznávání obrazu, jako je ImageNet. Je užitečná všude tam, kde uživatelé vidí několik návrhů, například u doporučení produktů nebo automatického doplňování.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoMatice záměn (confusion matrix) je tabulka, která porovnává predikce klasifikátoru se skutečnými třídami. Pro dvě třídy ukazuje pravdivě pozitivní, falešně pozitivní, pravdivě negativní a falešně negativní případy. Z ní lze vypočítat metriky, jako jsou přesnost, úplnost a F1 skóre, a je z ní zřejmé, jaké chyby nastávají. Příklad: filtr spamu, který označuje mnoho skutečných e-mailů jako spam, má mnoho falešně pozitivních případů, což je často dražší než zmeškaný spam.
Střední průměrná přesnost (mean average precision, mAP) je metrika, která hodnotí, jak dobře systém nachází relevantní výsledky a řadí je na přední místa. Průměrná přesnost se počítá napříč seznamem výsledků pro každý dotaz nebo třídu objektů; mAP je průměr přes všechny. Je to standardní míra pro vyhledávače, doporučovací systémy a detekci objektů na obrázcích, kde závisí i na požadovaném překryvu ohraničujících rámečků.
F-skóre je metrika pro hodnocení klasifikačních modelů. Běžné F1 skóre je harmonický průměr přesnosti (kolik předpovězených zásahů je správných) a úplnosti (kolik skutečných zásahů bylo nalezeno) a pohybuje se od 0 do 1. Je užitečné zejména u nevyvážených dat: filtr spamu, který spam téměř nikdy neoznačí, může mít vysokou správnost, ale nízké F1 skóre.
Klasifikátor je model nebo metoda, která přiřazuje vstupy do jedné z několika předem definovaných kategorií. Klasické varianty, například rozhodovací stromy nebo naivní Bayes, se trénují na označených příkladech; jazykové modely mohou texty třídit také na základě popisu kategorií. Typickým využitím je rozpoznávání spamu, třídění zákaznických dotazů podle témat a kategorizace účtenek. Kvalita se měří metrikami, jako jsou správnost, přesnost a úplnost.
