Sõnastik

Kõvera alune pindala (AUC)

Mis on Kõvera alune pindala (AUC)?

Kõvera alune pindala (area under the curve, AUC) on klassifitseerimismudelite mõõdik, mis viitab tavaliselt ROC-kõverale. See näitab, kui hästi mudel positiivseid ja negatiivseid juhtumeid eristab, sõltumata konkreetsest lävendist. Väärtus 1 tähendab täiuslikku eristamist; 0,5 pole parem kui ära arvamine. Näide: AUC-ga 0,85 klientide lahkumise mudel järjestab juhuslikult valitud lahkuva kliendi riskantsemaks kui truu kliendi 85% juhtudest.

Teemad

  • Hindamismõõdik
  • ROC
  • Liigitus

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

ROC-kõver

ROC-kõver (receiver operating characteristic) näitab, kui hästi klassifitseerimismudel kaht klassi eraldab. Iga võimaliku otsuslävendi jaoks kujutab see tõeliselt positiivsete määra (saagist) valepositiivsete määra suhtes. Mida lähemale kõver ülemisele vasakule nurgale ulatub, seda parem; diagonaal vastab puhtale äraarvamisele. Selle all olev pindala (AUC) võtab kõvera kokku ühe arvuna ja aitab näiteks eri pettusetuvastusmudelite võrdlemisel.

  • mõõdik
  • mudeli hindamine
  • +1

F-skoor (F1-skoor)

F-skoor on klassifitseerimismudelite hindamise mõõdik. Levinud F1-skoor on täpsuse (kui palju ennustatud tabamustest on õiged) ja saagise (kui palju tegelikest tabamustest leiti) harmooniline keskmine ning jääb vahemikku 0 kuni 1. See on eriti kasulik tasakaalustamata andmete puhul: rämpsposti peaaegu kunagi märkiv filter võib olla väga õige (accuracy), kuid selle F1-skoor on madal.

  • Hindamismõõdik
  • Liigitus
  • +1

Eksimismaatriks

Eksimismaatriks (confusion matrix) on tabel, mis võrdleb klassifikaatori ennustusi tegelike klassidega. Kahe klassi puhul näitab see tõeselt positiivseid, valepositiivseid, tõeselt negatiivseid ja valenegatiivseid. Sellest saab arvutada mõõdikuid nagu täpsus, saagis ja F1-skoor ning selgub, millised vead esinevad. Näide: rämpsposti filter, mis märgib palju õigeid e-kirju rämpspostiks, annab palju valepositiivseid, mis on sageli kulukam kui märkamata jäänud rämpspostisõnum.

  • Mudeli hindamine
  • Liigitus
  • +1

Logaritmiline kadu

Logaritmiline kadu (log loss) mõõdab, kui hästi klassifitseerimismudeli ennustatud tõenäosused vastavad tegelikele tulemustele. Kindlaid, kuid valesid ennustusi karistatakse eriti rängalt; nullilähedane väärtus viitab hästi kalibreeritud prognoosidele. Näide: kui mudel annab kliendile, kes jääb, 95% lahkumistõenäosuse, tõuseb logaritmiline kadu järsult. Matemaatiliselt on see sama mis binaarne ristentroopia.

  • mõõdik
  • klassifitseerimine
  • +1