Sõnastik

BLEU-skoor

Mis on BLEU-skoor?

BLEU-skoor (Bilingual Evaluation Understudy) on 2002. aastal IBM-is välja töötatud mõõdik masintõlgete automaatseks hindamiseks. See mõõdab, kui palju tõlkes esinevaid sõnajadasid esineb ka ühes või mitmes inimese tehtud võrdlustõlkes, ja annab väärtuse vahemikus 0 kuni 1 (sageli esitatud kui 0–100). BLEU on kiire ja võrreldav, kuid ei taba hästi tähendust ega stiili – head ümbersõnastused võivad saada madala skoori.

Teemad

  • Evaluation
  • Tõlkimine
  • NLP-mõõdik

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

ROUGE skoor

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) on mõõdikute perekond automaatselt loodud tekstide – eeskätt kokkuvõtete – võrdlemiseks inimeste kirjutatud viitetekstidega. See mõõdab, kui palju sõnu või sõnajärjendeid kattub, näiteks üksikuid sõnu ROUGE-1 puhul või pikimat ühist alamjada ROUGE-L puhul. Skoori on kiire arvutada, kuid see ei hõiva usaldusväärselt sama tähendusega ümbersõnastusi ega faktitäpsust.

  • mõõdik
  • kokkuvõtete tegemine
  • +1

Benchmarking

TI valdkonnas tähendab võrdlustestimine (benchmarking) mudelite või süsteemide süstemaatilist võrdlemist kindlaksmääratud ülesannete ja kriteeriumide abil. Avalikud võrdlustestid mõõdavad näiteks üldteadmisi, arutlusvõimet või programmeerimisoskust; praktilise kasutuse jaoks on aga kõige olulisemad testjuhtumid sinu enda igapäevatööst. Tüüpilised kriteeriumid on täpsus, täielikkus, reageerimisaeg ja kulu. See aitab otsustada, kas väiksem ja odavam mudel on ülesande jaoks piisavalt hea.

  • Mudelite võrdlus
  • Evaluation
  • +1
Mall

F-skoor (F1-skoor)

F-skoor on klassifitseerimismudelite hindamise mõõdik. Levinud F1-skoor on täpsuse (kui palju ennustatud tabamustest on õiged) ja saagise (kui palju tegelikest tabamustest leiti) harmooniline keskmine ning jääb vahemikku 0 kuni 1. See on eriti kasulik tasakaalustamata andmete puhul: rämpsposti peaaegu kunagi märkiv filter võib olla väga õige (accuracy), kuid selle F1-skoor on madal.

  • Hindamismõõdik
  • Liigitus
  • +1

Loomuliku keele töötlus (NLP)

Loomuliku keele töötlus on TI haru, mis võimaldab arvutitel analüüsida, mõista ja genereerida inimkeelt tekstis või kõnes. See hõlmab ülesandeid nagu tõlge, klassifitseerimine, kokkuvõtete tegemine, meelestatuse analüüs ja küsimustele vastamine. Kunagi domineerisid reeglid ja statistilised meetodid; tänapäeval kujundavad valdkonda suured keelemudelid.

  • NLP
  • Keel
  • +1