De area under the curve (AUC) is een maat voor classificatiemodellen en verwijst meestal naar de ROC-curve. Ze geeft aan hoe goed een model positieve van negatieve gevallen scheidt, onafhankelijk van een bepaalde drempel. Een waarde van 1 betekent perfecte scheiding; 0,5 is niet beter dan gokken. Voorbeeld: een verloopmodel met een AUC van 0,85 rangschikt een willekeurig gekozen vertrekkende klant in 85% van de gevallen als riskanter dan een trouwe klant.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenDe ROC-curve (receiver operating characteristic) laat zien hoe goed een classificatiemodel twee klassen van elkaar scheidt. Voor elke mogelijke beslisdrempel zet ze de true positive rate (recall) uit tegen de false positive rate. Hoe dichter de curve de linkerbovenhoek nadert, hoe beter; de diagonaal komt overeen met puur gokken. Het oppervlak eronder (AUC) vat de curve samen in één getal en helpt bijvoorbeeld bij het vergelijken van verschillende modellen voor fraudedetectie.
De F-score is een maat voor het beoordelen van classificatiemodellen. De gangbare F1-score is het harmonisch gemiddelde van precisie (hoeveel van de voorspelde treffers correct zijn) en recall (hoeveel van de werkelijke treffers zijn gevonden) en loopt van 0 tot 1. Ze is vooral nuttig bij onevenwichtige data: een spamfilter dat bijna nooit spam markeert, kan een hoge nauwkeurigheid maar een lage F1-score hebben.
Een confusion matrix is een tabel die de voorspellingen van een classificeerder vergelijkt met de werkelijke klassen. Bij twee klassen toont ze echte positieven, valse positieven, echte negatieven en valse negatieven. Daaruit kunnen maten als precisie, recall en F1-score worden berekend en wordt duidelijk welke fouten optreden. Voorbeeld: een spamfilter dat veel echte e-mails als spam aanmerkt, heeft veel valse positieven, wat vaak duurder is dan een gemist spambericht.
Log loss (logaritmisch verlies) meet hoe goed de voorspelde kansen van een classificatiemodel overeenkomen met de werkelijke uitkomsten. Zelfverzekerde maar foute voorspellingen worden bijzonder zwaar gestraft; een waarde dicht bij nul wijst op goed gekalibreerde voorspellingen. Voorbeeld: als een model een kans van 95% op vertrek geeft voor een klant die blijft, stijgt de log loss sterk. Wiskundig is het hetzelfde als binaire kruisentropie.
