Een confusion matrix is een tabel die de voorspellingen van een classificeerder vergelijkt met de werkelijke klassen. Bij twee klassen toont ze echte positieven, valse positieven, echte negatieven en valse negatieven. Daaruit kunnen maten als precisie, recall en F1-score worden berekend en wordt duidelijk welke fouten optreden. Voorbeeld: een spamfilter dat veel echte e-mails als spam aanmerkt, heeft veel valse positieven, wat vaak duurder is dan een gemist spambericht.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenDe F-score is een maat voor het beoordelen van classificatiemodellen. De gangbare F1-score is het harmonisch gemiddelde van precisie (hoeveel van de voorspelde treffers correct zijn) en recall (hoeveel van de werkelijke treffers zijn gevonden) en loopt van 0 tot 1. Ze is vooral nuttig bij onevenwichtige data: een spamfilter dat bijna nooit spam markeert, kan een hoge nauwkeurigheid maar een lage F1-score hebben.
Recall (ook wel sensitiviteit of true positive rate genoemd) meet welk deel van de werkelijk positieve gevallen een model herkent: correct herkende positieve gevallen gedeeld door alle echte positieve gevallen. Als een fraudefilter 80 van de 100 echte fraudegevallen opspoort, is de recall 0,8. Een hoge recall is belangrijk wanneer gemiste gevallen duur zijn, zoals bij medische diagnoses. Omdat valse alarmen buiten beschouwing blijven, wordt recall meestal samen met precisie bekeken, bijvoorbeeld in de F-score.
Een classificeerder is een model of methode die invoer toewijst aan een van meerdere vooraf bepaalde categorieën. Klassieke varianten zoals beslisbomen of naive Bayes worden getraind op gelabelde voorbeelden; taalmodellen kunnen teksten ook sorteren aan de hand van een beschrijving van de categorieën. Typische toepassingen zijn spamdetectie, het sorteren van klantvragen op onderwerp en het categoriseren van bonnen. De kwaliteit wordt gemeten met maten zoals nauwkeurigheid, precisie en recall.
De ROC-curve (receiver operating characteristic) laat zien hoe goed een classificatiemodel twee klassen van elkaar scheidt. Voor elke mogelijke beslisdrempel zet ze de true positive rate (recall) uit tegen de false positive rate. Hoe dichter de curve de linkerbovenhoek nadert, hoe beter; de diagonaal komt overeen met puur gokken. Het oppervlak eronder (AUC) vat de curve samen in één getal en helpt bijvoorbeeld bij het vergelijken van verschillende modellen voor fraudedetectie.
