ROUGE (Recall-Oriented Understudy for Gisting Evaluation) on mõõdikute perekond automaatselt loodud tekstide – eeskätt kokkuvõtete – võrdlemiseks inimeste kirjutatud viitetekstidega. See mõõdab, kui palju sõnu või sõnajärjendeid kattub, näiteks üksikuid sõnu ROUGE-1 puhul või pikimat ühist alamjada ROUGE-L puhul. Skoori on kiire arvutada, kuid see ei hõiva usaldusväärselt sama tähendusega ümbersõnastusi ega faktitäpsust.
BLEU-skoor (Bilingual Evaluation Understudy) on 2002. aastal IBM-is välja töötatud mõõdik masintõlgete automaatseks hindamiseks. See mõõdab, kui palju tõlkes esinevaid sõnajadasid esineb ka ühes või mitmes inimese tehtud võrdlustõlkes, ja annab väärtuse vahemikus 0 kuni 1 (sageli esitatud kui 0–100). BLEU on kiire ja võrreldav, kuid ei taba hästi tähendust ega stiili – head ümbersõnastused võivad saada madala skoori.
Automaatse teksti kokkuvõtte tegemisel koondab TI pikad tekstid põhipunktideks. Ekstraktiivsed meetodid kopeerivad olulised laused sõna-sõnalt, abstraktiivsed meetodid sõnastavad sisu ümber; suured keelemudelid töötavad peamiselt abstraktiivselt. See on kasulik protokollide, aruannete või pikkade e-kirjaahelate puhul; oluliste otsuste jaoks tuleks kokkuvõtet originaaliga võrrelda.
TI valdkonnas tähendab võrdlustestimine (benchmarking) mudelite või süsteemide süstemaatilist võrdlemist kindlaksmääratud ülesannete ja kriteeriumide abil. Avalikud võrdlustestid mõõdavad näiteks üldteadmisi, arutlusvõimet või programmeerimisoskust; praktilise kasutuse jaoks on aga kõige olulisemad testjuhtumid sinu enda igapäevatööst. Tüüpilised kriteeriumid on täpsus, täielikkus, reageerimisaeg ja kulu. See aitab otsustada, kas väiksem ja odavam mudel on ülesande jaoks piisavalt hea.
Loomuliku keele genereerimine (NLG) on keeletöötluse valdkond, mis loob andmetest, märksõnadest või muudest sisenditest arusaadavat teksti. Varasemad NLG-süsteemid tuginesid mallidele ja reeglitele; tänapäeval kasutab enamik suuri keelemudeleid. Tüüpilised kasutusalad on ilma- ja börsiaruanded, tootekirjeldused, näitajate kokkuvõtted ja vestlusrobotite vastused. Oluline on, et sisendite arvud ja faktid kantakse üle õigesti ja muutmata.
