Aria de sub curbă (AUC) este o metrică pentru modelele de clasificare, referindu-se de obicei la curba ROC. Arată cât de bine separă un model cazurile pozitive de cele negative, independent de un anumit prag. O valoare de 1 înseamnă separare perfectă; 0,5 nu e mai bună decât ghicitul. Exemplu: un model de pierdere a clienților cu AUC de 0,85 plasează un client ales la întâmplare care pleacă drept mai riscant decât unul fidel în 85% din cazuri.
Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.
Porniți demo-ulCurba ROC (receiver operating characteristic) arată cât de bine separă un model de clasificare două clase. Pentru fiecare prag de decizie posibil, reprezintă grafic rata pozitivelor reale (recall) în raport cu rata pozitivelor false. Cu cât curba se apropie mai mult de colțul din stânga sus, cu atât mai bine; diagonala corespunde ghicirii pure. Aria de sub ea (AUC) rezumă curba într-un singur număr și ajută, de exemplu, la compararea diferitelor modele de detectare a fraudelor.
Scorul F este o metrică pentru evaluarea modelelor de clasificare. Scorul F1, cel mai des folosit, este media armonică dintre precizie (câte dintre rezultatele prezise sunt corecte) și recall (câte dintre rezultatele reale au fost găsite) și variază între 0 și 1. Este util mai ales în cazul datelor dezechilibrate: un filtru de spam care aproape niciodată nu marchează spamul poate avea o acuratețe ridicată, dar un scor F1 scăzut.
O matrice de confuzie este un tabel care compară predicțiile unui clasificator cu clasele reale. Pentru două clase, arată adevărații pozitivi, fals pozitivii, adevărații negativi și fals negativii. Pe baza ei se pot calcula metrici precum precizia, recall-ul și scorul F1 și devine clar ce erori apar. Exemplu: un filtru de spam care marchează multe e-mailuri legitime drept spam are mulți fals pozitivi, ceea ce este adesea mai costisitor decât un mesaj spam ratat.
Log loss (pierdere logaritmică) măsoară cât de bine se potrivesc probabilitățile prezise de un model de clasificare cu rezultatele reale. Predicțiile făcute cu încredere, dar greșite, sunt penalizate deosebit de sever; o valoare apropiată de zero indică prognoze bine calibrate. Exemplu: dacă un model dă o probabilitate de 95% de pierdere pentru un client care rămâne, log loss crește brusc. Matematic, este același lucru cu entropia încrucișată binară.
