Az F-érték az osztályozási modellek értékelésére szolgáló mérőszám. Az elterjedt F1-érték a pontosság (az előre jelzett találatok hányada helyes) és a fedés (a tényleges találatok hányadát sikerült megtalálni) harmonikus közepe, értéke 0 és 1 között mozog. Különösen hasznos kiegyensúlyozatlan adatoknál: az a spamszűrő, amely szinte soha nem jelöl meg spamet, magas helyességet, de alacsony F1-értéket érhet el.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA fedés (recall; más néven érzékenység vagy valódi pozitív arány) azt méri, hogy a modell a tényleges pozitív esetek mekkora hányadát ismeri fel: a helyesen azonosított pozitívak osztva az összes valódi pozitívval. Ha egy csalásszűrő a 100 valódi csalási esetből 80-at elkap, a fedése 0,8. A magas fedés akkor fontos, ha a kihagyott esetek költségesek, például az orvosi diagnosztikában. Mivel a téves riasztásokat figyelmen kívül hagyja, általában a pontossággal (precision) együtt vizsgálják, például az F-értékben.
A tévesztési mátrix (confusion matrix) olyan táblázat, amely egy osztályozó előrejelzéseit a tényleges osztályokkal veti össze. Két osztály esetén megmutatja az igaz pozitívokat, a hamis pozitívokat, az igaz negatívokat és a hamis negatívokat. Ebből olyan mérőszámok számíthatók ki, mint a pontosság, a fedés és az F1-érték, és világossá válik, milyen hibák fordulnak elő. Példa: az a spamszűrő, amely sok valódi e-mailt jelöl spamnek, sok hamis pozitívat produkál, ami gyakran költségesebb, mint egy átcsúszott spam.
A görbe alatti terület (Area Under the Curve, AUC) az osztályozási modellek mérőszáma, többnyire a ROC-görbére vonatkozik. Azt mutatja meg, mennyire jól különíti el a modell a pozitív és a negatív eseteket, egy adott küszöbértéktől függetlenül. Az 1-es érték tökéletes elkülönítést jelent; a 0,5 nem jobb a találgatásnál. Példa: egy 0,85-ös AUC-jú elvándorlási modell az esetek 85%-ában kockázatosabbnak rangsorol egy véletlenszerűen választott távozó ügyfelet, mint egy hűségeset.
A top-k pontosság azt méri, milyen gyakran szerepel a helyes válasz a modell k legvalószínűbb javaslata között. A top-1-nél csak az első előrejelzés számít; a top-5-nél elég, ha a helyes osztály az öt legjobb között van – ez az ImageNethez hasonló képfelismerési mérési tesztek ismert mutatója. Hasznos mindenütt, ahol a felhasználók több javaslatot látnak, például termékajánlásoknál vagy automatikus kiegészítésnél.
