De ROC-curve (receiver operating characteristic) laat zien hoe goed een classificatiemodel twee klassen van elkaar scheidt. Voor elke mogelijke beslisdrempel zet ze de true positive rate (recall) uit tegen de false positive rate. Hoe dichter de curve de linkerbovenhoek nadert, hoe beter; de diagonaal komt overeen met puur gokken. Het oppervlak eronder (AUC) vat de curve samen in één getal en helpt bijvoorbeeld bij het vergelijken van verschillende modellen voor fraudedetectie.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenDe area under the curve (AUC) is een maat voor classificatiemodellen en verwijst meestal naar de ROC-curve. Ze geeft aan hoe goed een model positieve van negatieve gevallen scheidt, onafhankelijk van een bepaalde drempel. Een waarde van 1 betekent perfecte scheiding; 0,5 is niet beter dan gokken. Voorbeeld: een verloopmodel met een AUC van 0,85 rangschikt een willekeurig gekozen vertrekkende klant in 85% van de gevallen als riskanter dan een trouwe klant.
Recall (ook wel sensitiviteit of true positive rate genoemd) meet welk deel van de werkelijk positieve gevallen een model herkent: correct herkende positieve gevallen gedeeld door alle echte positieve gevallen. Als een fraudefilter 80 van de 100 echte fraudegevallen opspoort, is de recall 0,8. Een hoge recall is belangrijk wanneer gemiste gevallen duur zijn, zoals bij medische diagnoses. Omdat valse alarmen buiten beschouwing blijven, wordt recall meestal samen met precisie bekeken, bijvoorbeeld in de F-score.
Een confusion matrix is een tabel die de voorspellingen van een classificeerder vergelijkt met de werkelijke klassen. Bij twee klassen toont ze echte positieven, valse positieven, echte negatieven en valse negatieven. Daaruit kunnen maten als precisie, recall en F1-score worden berekend en wordt duidelijk welke fouten optreden. Voorbeeld: een spamfilter dat veel echte e-mails als spam aanmerkt, heeft veel valse positieven, wat vaak duurder is dan een gemist spambericht.
Een classificeerder is een model of methode die invoer toewijst aan een van meerdere vooraf bepaalde categorieën. Klassieke varianten zoals beslisbomen of naive Bayes worden getraind op gelabelde voorbeelden; taalmodellen kunnen teksten ook sorteren aan de hand van een beschrijving van de categorieën. Typische toepassingen zijn spamdetectie, het sorteren van klantvragen op onderwerp en het categoriseren van bonnen. De kwaliteit wordt gemeten met maten zoals nauwkeurigheid, precisie en recall.
