A top-k pontosság azt méri, milyen gyakran szerepel a helyes válasz a modell k legvalószínűbb javaslata között. A top-1-nél csak az első előrejelzés számít; a top-5-nél elég, ha a helyes osztály az öt legjobb között van – ez az ImageNethez hasonló képfelismerési mérési tesztek ismert mutatója. Hasznos mindenütt, ahol a felhasználók több javaslatot látnak, például termékajánlásoknál vagy automatikus kiegészítésnél.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA tévesztési mátrix (confusion matrix) olyan táblázat, amely egy osztályozó előrejelzéseit a tényleges osztályokkal veti össze. Két osztály esetén megmutatja az igaz pozitívokat, a hamis pozitívokat, az igaz negatívokat és a hamis negatívokat. Ebből olyan mérőszámok számíthatók ki, mint a pontosság, a fedés és az F1-érték, és világossá válik, milyen hibák fordulnak elő. Példa: az a spamszűrő, amely sok valódi e-mailt jelöl spamnek, sok hamis pozitívat produkál, ami gyakran költségesebb, mint egy átcsúszott spam.
Az átlagos átlagos pontosság (mean average precision, mAP) olyan mérőszám, amely azt értékeli, mennyire jól találja meg egy rendszer a releváns eredményeket, és rangsorolja őket az élre. Minden lekérdezésre vagy objektumosztályra kiszámítják az átlagos pontosságot az eredménylistán; a mAP ezek átlaga. Szabványos mérték keresőmotorokhoz, ajánlórendszerekhez és képeken végzett objektumfelismeréshez, ahol a határoló keretek szükséges átfedésétől is függ.
Az F-érték az osztályozási modellek értékelésére szolgáló mérőszám. Az elterjedt F1-érték a pontosság (az előre jelzett találatok hányada helyes) és a fedés (a tényleges találatok hányadát sikerült megtalálni) harmonikus közepe, értéke 0 és 1 között mozog. Különösen hasznos kiegyensúlyozatlan adatoknál: az a spamszűrő, amely szinte soha nem jelöl meg spamet, magas helyességet, de alacsony F1-értéket érhet el.
Az osztályozó olyan modell vagy módszer, amely a bemeneteket több előre meghatározott kategória egyikébe sorolja. A klasszikus változatokat, például a döntési fákat vagy a naiv Bayes-t címkézett példákon tanítják; a nyelvi modellek a kategóriák leírása alapján is képesek szövegeket rendezni. Tipikus felhasználás a spamfelismerés, az ügyfélmegkeresések téma szerinti rendezése és a bizonylatok kategorizálása. A minőséget olyan mérőszámokkal mérik, mint a helyesség, a pontosság és a fedés.
