F-scoren er en måleværdi til evaluering af klassifikationsmodeller. Den almindelige F1-score er det harmoniske gennemsnit af præcision (hvor mange af de forudsagte træffere der er korrekte) og recall (hvor mange af de faktiske træffere der blev fundet) og ligger mellem 0 og 1. Den er især nyttig ved ubalancerede data: Et spamfilter, der næsten aldrig markerer spam, kan have høj nøjagtighed, men en lav F1-score.
Recall (også kaldet sensitivitet eller true positive rate) måler, hvor stor en andel af de faktiske positive tilfælde en model registrerer: korrekt identificerede positive divideret med alle reelle positive. Hvis et svindelfilter fanger 80 ud af 100 reelle svindeltilfælde, er dets recall 0,8. Høj recall er vigtig, når oversete tilfælde er dyre, f.eks. ved medicinsk diagnose. Fordi den ignorerer falske alarmer, ses den som regel sammen med precision, f.eks. i F-scoren.
En forvekslingsmatrix (confusion matrix) er en tabel, der sammenligner en klassifikators forudsigelser med de faktiske klasser. For to klasser viser den sande positive, falske positive, sande negative og falske negative. Heraf kan der beregnes nøgletal som præcision, recall og F1-score, og det bliver tydeligt, hvilke fejl der opstår. Eksempel: Et spamfilter, der markerer mange ægte e-mails som spam, har mange falske positive, hvilket ofte er dyrere end en overset spambesked.
Arealet under kurven (area under the curve, AUC) er en måleværdi for klassifikationsmodeller og refererer som regel til ROC-kurven. Det angiver, hvor godt en model adskiller positive fra negative tilfælde, uafhængigt af en bestemt tærskelværdi. En værdi på 1 betyder perfekt adskillelse; 0,5 er ikke bedre end at gætte. Eksempel: En model for kundeafgang med en AUC på 0,85 rangerer en tilfældigt valgt kunde, der forlader virksomheden, som mere risikabel end en loyal i 85 % af tilfældene.
Top-k-nøjagtighed måler, hvor ofte det rigtige svar findes blandt en models k mest sandsynlige forslag. Med top-1 tæller kun den første forudsigelse; med top-5 er det nok, at den rigtige klasse er blandt de fem bedste, en velkendt måling fra benchmarks for billedgenkendelse som ImageNet. Den er nyttig overalt, hvor brugerne ser flere forslag, f.eks. produktanbefalinger eller autofuldførelse.
