Glosář

Matice záměn (confusion matrix)

Co je Matice záměn (confusion matrix)?

Matice záměn (confusion matrix) je tabulka, která porovnává predikce klasifikátoru se skutečnými třídami. Pro dvě třídy ukazuje pravdivě pozitivní, falešně pozitivní, pravdivě negativní a falešně negativní případy. Z ní lze vypočítat metriky, jako jsou přesnost, úplnost a F1 skóre, a je z ní zřejmé, jaké chyby nastávají. Příklad: filtr spamu, který označuje mnoho skutečných e-mailů jako spam, má mnoho falešně pozitivních případů, což je často dražší než zmeškaný spam.

Témata

Hodnocení modelů
Vyhodnocení
metriky

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo

← Všechny pojmy

Související pojmy

F-skóre (F1 skóre)

F-skóre je metrika pro hodnocení klasifikačních modelů. Běžné F1 skóre je harmonický průměr přesnosti (kolik předpovězených zásahů je správných) a úplnosti (kolik skutečných zásahů bylo nalezeno) a pohybuje se od 0 do 1. Je užitečné zejména u nevyvážených dat: filtr spamu, který spam téměř nikdy neoznačí, může mít vysokou správnost, ale nízké F1 skóre.

Hodnoticí metrika
Vyhodnocení
+1

Úplnost (recall) ve strojovém učení

Úplnost (recall; též citlivost nebo míra skutečně pozitivních) měří, jaký podíl skutečně pozitivních případů model odhalí: správně rozpoznané pozitivní případy dělené všemi skutečně pozitivními. Pokud filtr podvodů zachytí 80 ze 100 skutečných podvodů, je jeho úplnost 0,8. Vysoká úplnost je důležitá tam, kde jsou přehlédnuté případy nákladné, například při lékařské diagnostice. Protože ignoruje plané poplachy, posuzuje se obvykle společně s přesností (precision), například v podobě skóre F.

metrika
hodnocení modelu
+1

Klasifikátor

Klasifikátor je model nebo metoda, která přiřazuje vstupy do jedné z několika předem definovaných kategorií. Klasické varianty, například rozhodovací stromy nebo naivní Bayes, se trénují na označených příkladech; jazykové modely mohou texty třídit také na základě popisu kategorií. Typickým využitím je rozpoznávání spamu, třídění zákaznických dotazů podle témat a kategorizace účtenek. Kvalita se měří metrikami, jako jsou správnost, přesnost a úplnost.

Vyhodnocení
Strojové učení
+1

Šablona

ROC křivka

ROC křivka (receiver operating characteristic) ukazuje, jak dobře klasifikační model odděluje dvě třídy. Pro každou možnou rozhodovací hranici vynáší míru skutečně pozitivních případů (recall) proti míře falešně pozitivních. Čím blíže se křivka blíží k levému hornímu rohu, tím lépe; úhlopříčka odpovídá čistému hádání. Plocha pod ní (AUC) křivku shrnuje do jednoho čísla a pomáhá například při porovnávání různých modelů pro odhalování podvodů.

metrika
hodnocení modelu
+1