Fogalomtár

ROC-görbe alatti terület (AUC)

Mi a(z) ROC-görbe alatti terület (AUC)?

A görbe alatti terület (Area Under the Curve, AUC) az osztályozási modellek mérőszáma, többnyire a ROC-görbére vonatkozik. Azt mutatja meg, mennyire jól különíti el a modell a pozitív és a negatív eseteket, egy adott küszöbértéktől függetlenül. Az 1-es érték tökéletes elkülönítést jelent; a 0,5 nem jobb a találgatásnál. Példa: egy 0,85-ös AUC-jú elvándorlási modell az esetek 85%-ában kockázatosabbnak rangsorol egy véletlenszerűen választott távozó ügyfelet, mint egy hűségeset.

Témák

értékelési mérőszám
ROC
Besorolás

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

ROC-görbe

A ROC-görbe (receiver operating characteristic) azt mutatja, mennyire jól választ szét egy osztályozó modell két osztályt. Minden lehetséges döntési küszöbhöz ábrázolja a valódi pozitív arányt (fedést) a hamis pozitív aránnyal szemben. Minél közelebb ér a görbe a bal felső sarokhoz, annál jobb; az átló a puszta találgatásnak felel meg. A görbe alatti terület (AUC) egyetlen számban foglalja össze a görbét, és segít például különböző csalásfelismerő modellek összehasonlításában.

mérőszám
modellértékelés
+1

F-érték (F1-érték)

Az F-érték az osztályozási modellek értékelésére szolgáló mérőszám. Az elterjedt F1-érték a pontosság (az előre jelzett találatok hányada helyes) és a fedés (a tényleges találatok hányadát sikerült megtalálni) harmonikus közepe, értéke 0 és 1 között mozog. Különösen hasznos kiegyensúlyozatlan adatoknál: az a spamszűrő, amely szinte soha nem jelöl meg spamet, magas helyességet, de alacsony F1-értéket érhet el.

értékelési mérőszám
Besorolás
+1

Tévesztési mátrix

A tévesztési mátrix (confusion matrix) olyan táblázat, amely egy osztályozó előrejelzéseit a tényleges osztályokkal veti össze. Két osztály esetén megmutatja az igaz pozitívokat, a hamis pozitívokat, az igaz negatívokat és a hamis negatívokat. Ebből olyan mérőszámok számíthatók ki, mint a pontosság, a fedés és az F1-érték, és világossá válik, milyen hibák fordulnak elő. Példa: az a spamszűrő, amely sok valódi e-mailt jelöl spamnek, sok hamis pozitívat produkál, ami gyakran költségesebb, mint egy átcsúszott spam.

Modellértékelés
Besorolás
+1

Log loss

A log loss (logaritmikus veszteség) azt méri, mennyire egyeznek egy osztályozási modell előrejelzett valószínűségei a tényleges kimenetelekkel. A magabiztos, de téves előrejelzéseket különösen erősen bünteti; a nullához közeli érték jól kalibrált előrejelzéseket jelez. Példa: ha egy modell 95%-os elvándorlási valószínűséget ad egy olyan ügyfélre, aki marad, a log loss meredeken nő. Matematikailag megegyezik a bináris keresztentrópiával.

mérőszám
osztályozás
+1