Top-k-tarkkuus mittaa, kuinka usein oikea vastaus on mallin k todennäköisimmän ehdotuksen joukossa. Top-1:ssä vain ensimmäinen ennuste lasketaan; top-5:ssä riittää, että oikea luokka on viiden parhaan joukossa, mikä on tunnettu mittari kuvantunnistuksen vertailuissa, kuten ImageNetissä. Se on hyödyllinen kaikkialla, missä käyttäjät näkevät useita ehdotuksia, esimerkiksi tuotesuosituksissa tai automaattisessa täydennyksessä.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoSekaannusmatriisi (confusion matrix) on taulukko, joka vertaa luokittelijan ennusteita todellisiin luokkiin. Kahden luokan tapauksessa se näyttää oikeat positiiviset, väärät positiiviset, oikeat negatiiviset ja väärät negatiiviset. Siitä voidaan laskea mittareita, kuten tarkkuus, saanti ja F1-pistemäärä, ja selviää, millaisia virheitä syntyy. Esimerkki: roskapostisuodatin, joka merkitsee monta aitoa sähköpostia roskapostiksi, tuottaa paljon vääriä positiivisia, mikä on usein kalliimpaa kuin ohi päässyt roskaposti.
Keskimääräinen keskitarkkuus (mean average precision, mAP) on mittari, joka arvioi, kuinka hyvin järjestelmä löytää olennaisia tuloksia ja sijoittaa ne kärkeen. Keskitarkkuus lasketaan tulosluettelosta kullekin kyselylle tai kohdeluokalle; mAP on näiden keskiarvo. Se on vakiomittari hakukoneille, suosittelujärjestelmille ja kohteiden tunnistukselle kuvissa, missä se riippuu myös rajauslaatikoiden vaaditusta päällekkäisyydestä.
F-pistemäärä on luokittelumallien arviointimittari. Yleinen F1-pistemäärä on tarkkuuden (kuinka moni ennustetuista osumista on oikein) ja saantiasteen (kuinka moni todellisista osumista löytyi) harmoninen keskiarvo, ja sen arvo on 0–1. Se on erityisen hyödyllinen epätasapainoisen datan kanssa: roskapostisuodatin, joka ei lähes koskaan merkitse roskapostia, voi saavuttaa korkean osuvuuden mutta matalan F1-pistemäärän.
Luokittelija on malli tai menetelmä, joka osoittaa syötteet johonkin useista ennalta määritellyistä luokista. Klassiset muunnelmat, kuten päätöspuut tai naiivi Bayes, koulutetaan merkityillä esimerkeillä; kielimallit voivat myös lajitella tekstejä luokkien kuvauksen perusteella. Tyypillisiä käyttötarkoituksia ovat roskapostin tunnistus, asiakaskyselyiden lajittelu aiheen mukaan ja kuittien luokittelu. Laatua mitataan mittareilla, kuten osuvuudella, tarkkuudella ja saannilla.
