ROC-kurven (receiver operating characteristic) viser, hvor godt en klassifikationsmodel adskiller to klasser. For hver mulig beslutningstærskel afbilder den true positive rate (recall) mod false positive rate. Jo tættere kurven kommer på det øverste venstre hjørne, desto bedre; diagonalen svarer til ren gætning. Arealet under den (AUC) sammenfatter kurven i ét tal og hjælper f.eks. ved sammenligning af forskellige modeller til opdagelse af svindel.
Arealet under kurven (area under the curve, AUC) er en måleværdi for klassifikationsmodeller og refererer som regel til ROC-kurven. Det angiver, hvor godt en model adskiller positive fra negative tilfælde, uafhængigt af en bestemt tærskelværdi. En værdi på 1 betyder perfekt adskillelse; 0,5 er ikke bedre end at gætte. Eksempel: En model for kundeafgang med en AUC på 0,85 rangerer en tilfældigt valgt kunde, der forlader virksomheden, som mere risikabel end en loyal i 85 % af tilfældene.
Recall (også kaldet sensitivitet eller true positive rate) måler, hvor stor en andel af de faktiske positive tilfælde en model registrerer: korrekt identificerede positive divideret med alle reelle positive. Hvis et svindelfilter fanger 80 ud af 100 reelle svindeltilfælde, er dets recall 0,8. Høj recall er vigtig, når oversete tilfælde er dyre, f.eks. ved medicinsk diagnose. Fordi den ignorerer falske alarmer, ses den som regel sammen med precision, f.eks. i F-scoren.
En forvekslingsmatrix (confusion matrix) er en tabel, der sammenligner en klassifikators forudsigelser med de faktiske klasser. For to klasser viser den sande positive, falske positive, sande negative og falske negative. Heraf kan der beregnes nøgletal som præcision, recall og F1-score, og det bliver tydeligt, hvilke fejl der opstår. Eksempel: Et spamfilter, der markerer mange ægte e-mails som spam, har mange falske positive, hvilket ofte er dyrere end en overset spambesked.
En klassifikator er en model eller metode, der tildeler input til én af flere foruddefinerede kategorier. Klassiske varianter som beslutningstræer eller naive Bayes trænes på mærkede eksempler; sprogmodeller kan også sortere tekster ud fra en beskrivelse af kategorierne. Typiske anvendelser er spamgenkendelse, sortering af kundehenvendelser efter emne og kategorisering af bilag. Kvaliteten måles med nøgletal som nøjagtighed, præcision og recall.
