Sanasto

Käyrän alle jäävä pinta-ala (AUC)

Mikä on Käyrän alle jäävä pinta-ala (AUC)?

Käyrän alle jäävä pinta-ala (AUC) on luokittelumallien mittari, joka viittaa yleensä ROC-käyrään. Se kertoo, kuinka hyvin malli erottaa positiiviset ja negatiiviset tapaukset toisistaan riippumatta mistään tietystä kynnysarvosta. Arvo 1 tarkoittaa täydellistä erottelua; 0,5 ei ole arvaamista parempi. Esimerkki: asiakaspoistumamalli, jonka AUC on 0,85, arvioi satunnaisesti valitun poistuvan asiakkaan riskialttiimmaksi kuin uskollisen asiakkaan 85 %:ssa tapauksista.

Aiheet

Arviointimittari
ROC
Luokitus

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

ROC-käyrä

ROC-käyrä (receiver operating characteristic) näyttää, kuinka hyvin luokittelumalli erottaa kaksi luokkaa toisistaan. Se piirtää jokaiselle mahdolliselle päätöskynnykselle oikeiden positiivisten osuuden (recall) vääriä positiivisia vastaan. Mitä lähempänä käyrä on vasenta yläkulmaa, sen parempi; lävistäjä vastaa pelkkää arvausta. Sen alle jäävä pinta-ala (AUC) tiivistää käyrän yhteen lukuun ja auttaa esimerkiksi eri petostentunnistusmallien vertailussa.

mittari
mallin arviointi
+1

F-pistemäärä (F1-pistemäärä)

F-pistemäärä on luokittelumallien arviointimittari. Yleinen F1-pistemäärä on tarkkuuden (kuinka moni ennustetuista osumista on oikein) ja saantiasteen (kuinka moni todellisista osumista löytyi) harmoninen keskiarvo, ja sen arvo on 0–1. Se on erityisen hyödyllinen epätasapainoisen datan kanssa: roskapostisuodatin, joka ei lähes koskaan merkitse roskapostia, voi saavuttaa korkean osuvuuden mutta matalan F1-pistemäärän.

Arviointimittari
Luokitus
+1

Sekaannusmatriisi

Sekaannusmatriisi (confusion matrix) on taulukko, joka vertaa luokittelijan ennusteita todellisiin luokkiin. Kahden luokan tapauksessa se näyttää oikeat positiiviset, väärät positiiviset, oikeat negatiiviset ja väärät negatiiviset. Siitä voidaan laskea mittareita, kuten tarkkuus, saanti ja F1-pistemäärä, ja selviää, millaisia virheitä syntyy. Esimerkki: roskapostisuodatin, joka merkitsee monta aitoa sähköpostia roskapostiksi, tuottaa paljon vääriä positiivisia, mikä on usein kalliimpaa kuin ohi päässyt roskaposti.

Mallin arviointi
Luokitus
+1

Log loss

Log loss (logaritminen tappio) mittaa, kuinka hyvin luokittelumallin ennustetut todennäköisyydet vastaavat todellisia tuloksia. Itsevarmat mutta väärät ennusteet saavat erityisen ankaran rangaistuksen; nollaa lähellä oleva arvo viittaa hyvin kalibroituihin ennusteisiin. Esimerkki: jos malli antaa 95 %:n poistumatodennäköisyyden asiakkaalle, joka jää, log loss nousee jyrkästi. Matemaattisesti se on sama kuin binäärinen ristientropia.

mittari
luokittelu
+1