O matrice de confuzie este un tabel care compară predicțiile unui clasificator cu clasele reale. Pentru două clase, arată adevărații pozitivi, fals pozitivii, adevărații negativi și fals negativii. Pe baza ei se pot calcula metrici precum precizia, recall-ul și scorul F1 și devine clar ce erori apar. Exemplu: un filtru de spam care marchează multe e-mailuri legitime drept spam are mulți fals pozitivi, ceea ce este adesea mai costisitor decât un mesaj spam ratat.
Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.
Porniți demo-ulScorul F este o metrică pentru evaluarea modelelor de clasificare. Scorul F1, cel mai des folosit, este media armonică dintre precizie (câte dintre rezultatele prezise sunt corecte) și recall (câte dintre rezultatele reale au fost găsite) și variază între 0 și 1. Este util mai ales în cazul datelor dezechilibrate: un filtru de spam care aproape niciodată nu marchează spamul poate avea o acuratețe ridicată, dar un scor F1 scăzut.
Recall-ul (numit și sensibilitate sau rata pozitivelor reale) măsoară ce parte din cazurile pozitive reale detectează un model: pozitivele identificate corect împărțite la toate pozitivele reale. Dacă un filtru antifraudă prinde 80 din 100 de cazuri reale de fraudă, recall-ul său este 0,8. Un recall ridicat contează atunci când cazurile ratate sunt costisitoare, de exemplu în diagnosticul medical. Fiindcă ignoră alarmele false, este de obicei analizat împreună cu precizia, de exemplu în scorul F.
Un clasificator este un model sau o metodă care atribuie intrările uneia dintre mai multe categorii predefinite. Variantele clasice, precum arborii de decizie sau naive Bayes, sunt antrenate pe exemple etichetate; modelele lingvistice pot sorta texte și pe baza unei descrieri a categoriilor. Utilizări tipice sunt detectarea spamului, sortarea solicitărilor clienților pe teme și categorisirea bonurilor. Calitatea se măsoară cu metrici precum acuratețea, precizia și recall-ul.
Curba ROC (receiver operating characteristic) arată cât de bine separă un model de clasificare două clase. Pentru fiecare prag de decizie posibil, reprezintă grafic rata pozitivelor reale (recall) în raport cu rata pozitivelor false. Cu cât curba se apropie mai mult de colțul din stânga sus, cu atât mai bine; diagonala corespunde ghicirii pure. Aria de sub ea (AUC) rezumă curba într-un singur număr și ajută, de exemplu, la compararea diferitelor modele de detectare a fraudelor.
