Sõnastik

TI-mudelite täpsus ja stabiilsus

Mis on TI-mudelite täpsus ja stabiilsus?

Täpsus kirjeldab, kui sageli annab TI-mudel õigeid tulemusi; stabiilsus kirjeldab, kui usaldusväärselt see tase säilib – veidi muudetud sisendite, uute andmete või aja jooksul. Mudel võib testimisel olla väga täpne, kuid ebastabiilne, kui küsimuse lihtne ümbersõnastamine annab teistsuguse vastuse. Reaalses kasutuses kontrollitakse mõlemat omadust kindlate testjuhtumite, ristvalideerimise ja pideva jälgimisega.

Teemad

  • Mudeli kvaliteet
  • Töökindlus
  • Evaluation

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

Mudeli töökindlus

Mudeli töökindlus kirjeldab, kui usaldusväärselt TI-mudel toimib, kui sisendid on mürarikkad, mittetäielikud, ebatavalised või tahtlikult manipuleeritud. Töökindel mudel annab ikkagi stabiilseid tulemusi, näiteks piltide tuvastamisel halvas valguses või keelemudelil kirjavigade korral. Töökindlust hinnatakse stressitestide, mitmekesiste treeningandmete ja tahtlike eksitamiskatsete vastu tehtud testidega ning see on eriti oluline turvakriitilistes rakendustes.

  • usaldusväärsus
  • mudeli kvaliteet
  • +1

Mudeli triiv

Mudeli triiv on mudeli ennustuskvaliteedi järkjärguline langus kasutuse ajal, kuna tegelikkus muutub treeningandmetega võrreldes. Eristatakse sisendandmete muutusi (andmetriiv) ning sisendite ja tulemuste vahelise seose muutusi (kontseptsioonitriiv). Näide: pettuste tuvastamise mudel ei märka uusi pettuseskeeme. Abinõudeks on mõõdikute pidev jälgimine ja regulaarne ümberõpe.

  • MLOps
  • mudeli kvaliteet
  • +1

Ristvalideerimine

Ristvalideerimine on meetod, millega kontrollitakse, kui hästi mudel üldistub uutele, nägemata andmetele. K-osaga ristvalideerimisel jagatakse andmed k osaks; mudelit treenitakse k korda k−1 osal ja testitakse iga kord ülejäänud osal, seejärel tulemused keskmistatakse. See aitab avastada ülesobitamist ja võrrelda mudeleid või seadeid ausalt, eriti kui andmeid on vähe.

  • Mudeli hindamine
  • Valideerimine
  • +1

Benchmarking

TI valdkonnas tähendab võrdlustestimine (benchmarking) mudelite või süsteemide süstemaatilist võrdlemist kindlaksmääratud ülesannete ja kriteeriumide abil. Avalikud võrdlustestid mõõdavad näiteks üldteadmisi, arutlusvõimet või programmeerimisoskust; praktilise kasutuse jaoks on aga kõige olulisemad testjuhtumid sinu enda igapäevatööst. Tüüpilised kriteeriumid on täpsus, täielikkus, reageerimisaeg ja kulu. See aitab otsustada, kas väiksem ja odavam mudel on ülesande jaoks piisavalt hea.

  • Mudelite võrdlus
  • Evaluation
  • +1
Mall