F-pistemäärä on luokittelumallien arviointimittari. Yleinen F1-pistemäärä on tarkkuuden (kuinka moni ennustetuista osumista on oikein) ja saantiasteen (kuinka moni todellisista osumista löytyi) harmoninen keskiarvo, ja sen arvo on 0–1. Se on erityisen hyödyllinen epätasapainoisen datan kanssa: roskapostisuodatin, joka ei lähes koskaan merkitse roskapostia, voi saavuttaa korkean osuvuuden mutta matalan F1-pistemäärän.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoRecall (eli herkkyys tai oikeiden positiivisten osuus) mittaa, kuinka suuren osan todellisista positiivisista tapauksista malli havaitsee: oikein tunnistetut positiiviset jaettuna kaikilla todellisilla positiivisilla. Jos petossuodatin havaitsee 80 sadasta todellisesta petostapauksesta, sen recall on 0,8. Korkea recall on tärkeä, kun huomaamatta jääneet tapaukset ovat kalliita, kuten lääketieteellisessä diagnostiikassa. Koska se ei huomioi vääriä hälytyksiä, sitä tarkastellaan yleensä yhdessä tarkkuuden (precision) kanssa, esimerkiksi F-arvossa.
Sekaannusmatriisi (confusion matrix) on taulukko, joka vertaa luokittelijan ennusteita todellisiin luokkiin. Kahden luokan tapauksessa se näyttää oikeat positiiviset, väärät positiiviset, oikeat negatiiviset ja väärät negatiiviset. Siitä voidaan laskea mittareita, kuten tarkkuus, saanti ja F1-pistemäärä, ja selviää, millaisia virheitä syntyy. Esimerkki: roskapostisuodatin, joka merkitsee monta aitoa sähköpostia roskapostiksi, tuottaa paljon vääriä positiivisia, mikä on usein kalliimpaa kuin ohi päässyt roskaposti.
Käyrän alle jäävä pinta-ala (AUC) on luokittelumallien mittari, joka viittaa yleensä ROC-käyrään. Se kertoo, kuinka hyvin malli erottaa positiiviset ja negatiiviset tapaukset toisistaan riippumatta mistään tietystä kynnysarvosta. Arvo 1 tarkoittaa täydellistä erottelua; 0,5 ei ole arvaamista parempi. Esimerkki: asiakaspoistumamalli, jonka AUC on 0,85, arvioi satunnaisesti valitun poistuvan asiakkaan riskialttiimmaksi kuin uskollisen asiakkaan 85 %:ssa tapauksista.
Top-k-tarkkuus mittaa, kuinka usein oikea vastaus on mallin k todennäköisimmän ehdotuksen joukossa. Top-1:ssä vain ensimmäinen ennuste lasketaan; top-5:ssä riittää, että oikea luokka on viiden parhaan joukossa, mikä on tunnettu mittari kuvantunnistuksen vertailuissa, kuten ImageNetissä. Se on hyödyllinen kaikkialla, missä käyttäjät näkevät useita ehdotuksia, esimerkiksi tuotesuosituksissa tai automaattisessa täydennyksessä.
