Arean under kurvan (AUC) är ett mått för klassificeringsmodeller och avser vanligtvis ROC-kurvan. Den anger hur väl en modell skiljer positiva från negativa fall, oberoende av något visst tröskelvärde. Värdet 1 betyder perfekt separation; 0,5 är inte bättre än att gissa. Exempel: en modell för kundbortfall med AUC 0,85 rangordnar en slumpmässigt vald kund som lämnar som mer riskfylld än en lojal kund i 85 % av fallen.
ROC-kurvan (receiver operating characteristic) visar hur väl en klassificeringsmodell skiljer mellan två klasser. För varje möjligt tröskelvärde för beslut ritar den ut andelen sanna positiva (recall) mot andelen falska positiva. Ju närmare kurvan når det övre vänstra hörnet, desto bättre; diagonalen motsvarar ren gissning. Arean under kurvan (AUC) sammanfattar kurvan i ett enda tal och hjälper till exempel när man jämför olika modeller för bedrägeriupptäckt.
F-värdet är ett mått för att utvärdera klassificeringsmodeller. Det vanliga F1-värdet är det harmoniska medelvärdet av precision (hur många av de förutsagda träffarna som är korrekta) och täckning (hur många av de faktiska träffarna som hittades) och ligger mellan 0 och 1. Det är särskilt användbart vid obalanserade data: ett skräppostfilter som nästan aldrig flaggar skräppost kan ha hög noggrannhet men lågt F1-värde.
En förväxlingsmatris är en tabell som jämför en klassificerares förutsägelser med de faktiska klasserna. För två klasser visar den sanna positiva, falska positiva, sanna negativa och falska negativa. Utifrån den kan mått som precision, täckning och F1-värde beräknas, och det blir tydligt vilka fel som uppstår. Exempel: ett skräppostfilter som flaggar många riktiga e-postmeddelanden som skräppost har många falska positiva, vilket ofta är dyrare än ett missat skräppostmeddelande.
Logaritmisk förlust (log loss) mäter hur väl de förutsagda sannolikheterna från en klassificeringsmodell stämmer med de faktiska utfallen. Säkra men felaktiga förutsägelser straffas särskilt hårt; ett värde nära noll tyder på välkalibrerade prognoser. Exempel: om en modell anger 95 % sannolikhet för bortfall för en kund som blir kvar ökar den logaritmiska förlusten kraftigt. Matematiskt är den detsamma som binär korsentropi.
