ROC-käyrä (receiver operating characteristic) näyttää, kuinka hyvin luokittelumalli erottaa kaksi luokkaa toisistaan. Se piirtää jokaiselle mahdolliselle päätöskynnykselle oikeiden positiivisten osuuden (recall) vääriä positiivisia vastaan. Mitä lähempänä käyrä on vasenta yläkulmaa, sen parempi; lävistäjä vastaa pelkkää arvausta. Sen alle jäävä pinta-ala (AUC) tiivistää käyrän yhteen lukuun ja auttaa esimerkiksi eri petostentunnistusmallien vertailussa.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoKäyrän alle jäävä pinta-ala (AUC) on luokittelumallien mittari, joka viittaa yleensä ROC-käyrään. Se kertoo, kuinka hyvin malli erottaa positiiviset ja negatiiviset tapaukset toisistaan riippumatta mistään tietystä kynnysarvosta. Arvo 1 tarkoittaa täydellistä erottelua; 0,5 ei ole arvaamista parempi. Esimerkki: asiakaspoistumamalli, jonka AUC on 0,85, arvioi satunnaisesti valitun poistuvan asiakkaan riskialttiimmaksi kuin uskollisen asiakkaan 85 %:ssa tapauksista.
Recall (eli herkkyys tai oikeiden positiivisten osuus) mittaa, kuinka suuren osan todellisista positiivisista tapauksista malli havaitsee: oikein tunnistetut positiiviset jaettuna kaikilla todellisilla positiivisilla. Jos petossuodatin havaitsee 80 sadasta todellisesta petostapauksesta, sen recall on 0,8. Korkea recall on tärkeä, kun huomaamatta jääneet tapaukset ovat kalliita, kuten lääketieteellisessä diagnostiikassa. Koska se ei huomioi vääriä hälytyksiä, sitä tarkastellaan yleensä yhdessä tarkkuuden (precision) kanssa, esimerkiksi F-arvossa.
Sekaannusmatriisi (confusion matrix) on taulukko, joka vertaa luokittelijan ennusteita todellisiin luokkiin. Kahden luokan tapauksessa se näyttää oikeat positiiviset, väärät positiiviset, oikeat negatiiviset ja väärät negatiiviset. Siitä voidaan laskea mittareita, kuten tarkkuus, saanti ja F1-pistemäärä, ja selviää, millaisia virheitä syntyy. Esimerkki: roskapostisuodatin, joka merkitsee monta aitoa sähköpostia roskapostiksi, tuottaa paljon vääriä positiivisia, mikä on usein kalliimpaa kuin ohi päässyt roskaposti.
Luokittelija on malli tai menetelmä, joka osoittaa syötteet johonkin useista ennalta määritellyistä luokista. Klassiset muunnelmat, kuten päätöspuut tai naiivi Bayes, koulutetaan merkityillä esimerkeillä; kielimallit voivat myös lajitella tekstejä luokkien kuvauksen perusteella. Tyypillisiä käyttötarkoituksia ovat roskapostin tunnistus, asiakaskyselyiden lajittelu aiheen mukaan ja kuittien luokittelu. Laatua mitataan mittareilla, kuten osuvuudella, tarkkuudella ja saannilla.
