ROC-kurvan (receiver operating characteristic) visar hur väl en klassificeringsmodell skiljer mellan två klasser. För varje möjligt tröskelvärde för beslut ritar den ut andelen sanna positiva (recall) mot andelen falska positiva. Ju närmare kurvan når det övre vänstra hörnet, desto bättre; diagonalen motsvarar ren gissning. Arean under kurvan (AUC) sammanfattar kurvan i ett enda tal och hjälper till exempel när man jämför olika modeller för bedrägeriupptäckt.
Arean under kurvan (AUC) är ett mått för klassificeringsmodeller och avser vanligtvis ROC-kurvan. Den anger hur väl en modell skiljer positiva från negativa fall, oberoende av något visst tröskelvärde. Värdet 1 betyder perfekt separation; 0,5 är inte bättre än att gissa. Exempel: en modell för kundbortfall med AUC 0,85 rangordnar en slumpmässigt vald kund som lämnar som mer riskfylld än en lojal kund i 85 % av fallen.
Recall (även kallat känslighet eller andel sanna positiva) mäter hur stor andel av de faktiska positiva fallen som en modell upptäcker: korrekt identifierade positiva dividerat med alla verkliga positiva. Om ett bedrägerifilter fångar 80 av 100 verkliga bedrägerifall är dess recall 0,8. Hög recall är viktig när missade fall är kostsamma, som vid medicinsk diagnostik. Eftersom den bortser från falsklarm bedöms den vanligtvis tillsammans med precision, till exempel i F-måttet.
En förväxlingsmatris är en tabell som jämför en klassificerares förutsägelser med de faktiska klasserna. För två klasser visar den sanna positiva, falska positiva, sanna negativa och falska negativa. Utifrån den kan mått som precision, täckning och F1-värde beräknas, och det blir tydligt vilka fel som uppstår. Exempel: ett skräppostfilter som flaggar många riktiga e-postmeddelanden som skräppost har många falska positiva, vilket ofta är dyrare än ett missat skräppostmeddelande.
En klassificerare är en modell eller metod som placerar indata i en av flera förutbestämda kategorier. Klassiska varianter som beslutsträd eller naiv Bayes tränas på annoterade exempel; språkmodeller kan också sortera texter utifrån en beskrivning av kategorierna. Typiska användningar är skräppostdetektering, sortering av kundförfrågningar efter ämne och kategorisering av kvitton. Kvaliteten mäts med mått som noggrannhet, precision och täckning.
