Krivka ROC (receiver operating characteristic) ukazuje, nakoľko dobre klasifikačný model oddeľuje dve triedy. Pre každý možný rozhodovací prah zobrazuje mieru skutočne pozitívnych (recall) voči miere falošne pozitívnych. Čím viac sa krivka blíži k ľavému hornému rohu, tým lepšie; uhlopriečka zodpovedá čistému hádaniu. Plocha pod ňou (AUC) zhŕňa krivku do jediného čísla a pomáha napríklad pri porovnávaní rôznych modelov na odhaľovanie podvodov.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoPlocha pod krivkou (AUC, area under the curve) je metrika pre klasifikačné modely, ktorá sa zvyčajne vzťahuje na krivku ROC. Udáva, ako dobre model oddeľuje pozitívne a negatívne prípady, nezávisle od konkrétnej prahovej hodnoty. Hodnota 1 znamená dokonalé oddelenie; 0,5 nie je lepšie než hádanie. Príklad: model odchodu zákazníkov s AUC 0,85 zaradí náhodne vybraného zákazníka, ktorý odíde, ako rizikovejšieho než verného v 85 % prípadov.
Recall (nazývaný aj senzitivita alebo miera skutočne pozitívnych) meria, aký podiel skutočných pozitívnych prípadov model odhalí: správne identifikované pozitívne prípady vydelené všetkými skutočnými pozitívnymi. Ak filter podvodov zachytí 80 zo 100 skutočných podvodov, jeho recall je 0,8. Vysoký recall je dôležitý tam, kde je premeškaný prípad nákladný, napríklad pri lekárskej diagnostike. Keďže ignoruje falošné poplachy, zvyčajne sa posudzuje spolu s presnosťou (precision), napríklad v skóre F.
Matica zámen (confusion matrix) je tabuľka, ktorá porovnáva predpovede klasifikátora so skutočnými triedami. Pri dvoch triedach ukazuje skutočne pozitívne, falošne pozitívne, skutočne negatívne a falošne negatívne prípady. Z nej možno vypočítať metriky, ako sú presnosť, úplnosť a skóre F1, a je jasné, aké chyby sa vyskytujú. Príklad: filter spamu, ktorý označí veľa skutočných e-mailov ako spam, má veľa falošne pozitívnych výsledkov, čo je často drahšie než prehliadnutá spamová správa.
Klasifikátor je model alebo metóda, ktorá priraďuje vstupy do jednej z viacerých vopred určených kategórií. Klasické varianty, ako sú rozhodovacie stromy alebo naivný Bayes, sa trénujú na označených príkladoch; jazykové modely dokážu texty triediť aj na základe opisu kategórií. Typické použitie zahŕňa detekciu spamu, triedenie dopytov zákazníkov podľa tém a kategorizáciu dokladov. Kvalita sa meria metrikami, ako sú správnosť, presnosť a úplnosť.
