Az átlagos átlagos pontosság (mean average precision, mAP) olyan mérőszám, amely azt értékeli, mennyire jól találja meg egy rendszer a releváns eredményeket, és rangsorolja őket az élre. Minden lekérdezésre vagy objektumosztályra kiszámítják az átlagos pontosságot az eredménylistán; a mAP ezek átlaga. Szabványos mérték keresőmotorokhoz, ajánlórendszerekhez és képeken végzett objektumfelismeréshez, ahol a határoló keretek szükséges átfedésétől is függ.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA fedés (recall; más néven érzékenység vagy valódi pozitív arány) azt méri, hogy a modell a tényleges pozitív esetek mekkora hányadát ismeri fel: a helyesen azonosított pozitívak osztva az összes valódi pozitívval. Ha egy csalásszűrő a 100 valódi csalási esetből 80-at elkap, a fedése 0,8. A magas fedés akkor fontos, ha a kihagyott esetek költségesek, például az orvosi diagnosztikában. Mivel a téves riasztásokat figyelmen kívül hagyja, általában a pontossággal (precision) együtt vizsgálják, például az F-értékben.
Az F-érték az osztályozási modellek értékelésére szolgáló mérőszám. Az elterjedt F1-érték a pontosság (az előre jelzett találatok hányada helyes) és a fedés (a tényleges találatok hányadát sikerült megtalálni) harmonikus közepe, értéke 0 és 1 között mozog. Különösen hasznos kiegyensúlyozatlan adatoknál: az a spamszűrő, amely szinte soha nem jelöl meg spamet, magas helyességet, de alacsony F1-értéket érhet el.
Az információkeresés (information retrieval) azokat a módszereket foglalja magában, amelyek egy nagy szövegállományban megtalálják a lekérdezésnek megfelelő dokumentumokat vagy szövegrészleteket, és relevancia szerint rangsorolják őket. A klasszikus megközelítések, például a BM25, a keresőszavakat aszerint súlyozzák, milyen gyakran és milyen ritkán fordulnak elő; az újabbak szemantikus hasonlóságot is bevonnak. Ez áll a keresőmotorok, a vállalati keresés és a visszakeresésalapú generálás mögött, amelyben egy nyelvi modell a visszakeresett részleteket használja válasza alapjául.
A top-k pontosság azt méri, milyen gyakran szerepel a helyes válasz a modell k legvalószínűbb javaslata között. A top-1-nél csak az első előrejelzés számít; a top-5-nél elég, ha a helyes osztály az öt legjobb között van – ez az ImageNethez hasonló képfelismerési mérési tesztek ismert mutatója. Hasznos mindenütt, ahol a felhasználók több javaslatot látnak, például termékajánlásoknál vagy automatikus kiegészítésnél.
