Ordliste

Arealet under kurven (AUC)

Hvad er Arealet under kurven (AUC)?

Arealet under kurven (area under the curve, AUC) er en måleværdi for klassifikationsmodeller og refererer som regel til ROC-kurven. Det angiver, hvor godt en model adskiller positive fra negative tilfælde, uafhængigt af en bestemt tærskelværdi. En værdi på 1 betyder perfekt adskillelse; 0,5 er ikke bedre end at gætte. Eksempel: En model for kundeafgang med en AUC på 0,85 rangerer en tilfældigt valgt kunde, der forlader virksomheden, som mere risikabel end en loyal i 85 % af tilfældene.

Emner

Evalueringsmåling
ROC
Klassificering

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo

← Alle begreber

Relaterede begreber

ROC-kurve

ROC-kurven (receiver operating characteristic) viser, hvor godt en klassifikationsmodel adskiller to klasser. For hver mulig beslutningstærskel afbilder den true positive rate (recall) mod false positive rate. Jo tættere kurven kommer på det øverste venstre hjørne, desto bedre; diagonalen svarer til ren gætning. Arealet under den (AUC) sammenfatter kurven i ét tal og hjælper f.eks. ved sammenligning af forskellige modeller til opdagelse af svindel.

måleværdi
modelevaluering
+1

F-score (F1-score)

F-scoren er en måleværdi til evaluering af klassifikationsmodeller. Den almindelige F1-score er det harmoniske gennemsnit af præcision (hvor mange af de forudsagte træffere der er korrekte) og recall (hvor mange af de faktiske træffere der blev fundet) og ligger mellem 0 og 1. Den er især nyttig ved ubalancerede data: Et spamfilter, der næsten aldrig markerer spam, kan have høj nøjagtighed, men en lav F1-score.

Evalueringsmåling
Klassificering
+1

Forvekslingsmatrix

En forvekslingsmatrix (confusion matrix) er en tabel, der sammenligner en klassifikators forudsigelser med de faktiske klasser. For to klasser viser den sande positive, falske positive, sande negative og falske negative. Heraf kan der beregnes nøgletal som præcision, recall og F1-score, og det bliver tydeligt, hvilke fejl der opstår. Eksempel: Et spamfilter, der markerer mange ægte e-mails som spam, har mange falske positive, hvilket ofte er dyrere end en overset spambesked.

Modelevaluering
Klassificering
+1

Log loss

Log loss (logaritmisk tab) måler, hvor godt de forudsagte sandsynligheder fra en klassifikationsmodel stemmer overens med de faktiske udfald. Sikre, men forkerte forudsigelser straffes særligt hårdt; en værdi tæt på nul angiver velkalibrerede prognoser. Eksempel: Hvis en model giver en kunde, der bliver, 95 % sandsynlighed for at forlade virksomheden, stiger log loss kraftigt. Matematisk er det det samme som binær krydsentropi.

måleværdi
klassifikation
+1