Top-k-nøjagtighed måler, hvor ofte det rigtige svar findes blandt en models k mest sandsynlige forslag. Med top-1 tæller kun den første forudsigelse; med top-5 er det nok, at den rigtige klasse er blandt de fem bedste, en velkendt måling fra benchmarks for billedgenkendelse som ImageNet. Den er nyttig overalt, hvor brugerne ser flere forslag, f.eks. produktanbefalinger eller autofuldførelse.
En forvekslingsmatrix (confusion matrix) er en tabel, der sammenligner en klassifikators forudsigelser med de faktiske klasser. For to klasser viser den sande positive, falske positive, sande negative og falske negative. Heraf kan der beregnes nøgletal som præcision, recall og F1-score, og det bliver tydeligt, hvilke fejl der opstår. Eksempel: Et spamfilter, der markerer mange ægte e-mails som spam, har mange falske positive, hvilket ofte er dyrere end en overset spambesked.
Mean average precision (mAP) er en måleværdi, der vurderer, hvor godt et system finder relevante resultater og rangerer dem højt. Gennemsnitlig præcision (average precision) beregnes over resultatlisten for hver forespørgsel eller objektklasse; mAP er gennemsnittet over dem alle. Det er et standardmål for søgemaskiner, anbefalingssystemer og objektgenkendelse i billeder, hvor det også afhænger af det krævede overlap mellem afgrænsningsrammer.
F-scoren er en måleværdi til evaluering af klassifikationsmodeller. Den almindelige F1-score er det harmoniske gennemsnit af præcision (hvor mange af de forudsagte træffere der er korrekte) og recall (hvor mange af de faktiske træffere der blev fundet) og ligger mellem 0 og 1. Den er især nyttig ved ubalancerede data: Et spamfilter, der næsten aldrig markerer spam, kan have høj nøjagtighed, men en lav F1-score.
En klassifikator er en model eller metode, der tildeler input til én af flere foruddefinerede kategorier. Klassiske varianter som beslutningstræer eller naive Bayes trænes på mærkede eksempler; sprogmodeller kan også sortere tekster ud fra en beskrivelse af kategorierne. Typiske anvendelser er spamgenkendelse, sortering af kundehenvendelser efter emne og kategorisering af bilag. Kvaliteten måles med nøgletal som nøjagtighed, præcision og recall.
