ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ir metriku saime automātiski ģenerētu tekstu — īpaši kopsavilkumu — salīdzināšanai ar cilvēku rakstītiem references tekstiem. Tā mēra, cik daudz vārdu vai vārdu secību pārklājas, piemēram, atsevišķus vārdus ROUGE-1 vai garāko kopīgo apakšsecību ROUGE-L. Rādītāju var ātri aprēķināt, taču tas nenodrošina uzticamu pārfrāzējumu ar to pašu nozīmi vai faktiskās pareizības novērtējumu.
BLEU rādītājs (Bilingual Evaluation Understudy) ir 2002. gadā IBM izstrādāta metrika mašīntulkojumu automātiskai novērtēšanai. Tā mēra, cik daudz vārdu secību tulkojumā sastopamas arī vienā vai vairākos cilvēku veidotos atsauces tulkojumos, un sniedz vērtību no 0 līdz 1 (bieži attēlo kā 0–100). BLEU ir ātrs un salīdzināms, taču slikti aptver gan nozīmi, gan stilu – labas pārfrāzes var iegūt zemu vērtējumu.
Automātiskā teksta kopsavilkumā MI sasaista garus tekstus līdz galvenajiem punktiem. Ekstraktīvās metodes kopē svarīgus teikumus burtiski, bet abstraktīvās metodes saturu pārformulē; lielie valodas modeļi darbojas galvenokārt abstraktīvi. Tas noder protokoliem, pārskatiem vai gariem e-pastu pavedieniem; svarīgiem lēmumiem kopsavilkums jāpārbauda pret oriģinālu.
MI jomā etalontestēšana (benchmarking) nozīmē sistemātisku modeļu vai sistēmu salīdzināšanu, izmantojot noteiktus uzdevumus un kritērijus. Publiski etalontesti mēra, piemēram, vispārējās zināšanas, spriešanas vai programmēšanas spējas; praktiskai izmantošanai tomēr vissvarīgākie ir testa gadījumi no jūsu pašu ikdienas darba. Tipiski kritēriji ir precizitāte, pilnīgums, atbildes laiks un izmaksas. Tas palīdz izlemt, vai mazāks, lētāks modelis konkrētam uzdevumam ir pietiekami labs.
Dabiskās valodas ģenerēšana (NLG) ir valodas apstrādes joma, kas no datiem, punktiem vai citas ievades veido saprotamu tekstu. Agrākās NLG sistēmas balstījās uz veidnēm un noteikumiem; mūsdienās vairums izmanto lielos valodas modeļus. Tipisks pielietojums ir laikapstākļu un biržas ziņojumi, produktu apraksti, rādītāju kopsavilkumi un tērzēšanas robotu atbildes. Svarīgi, lai skaitļi un fakti no ievades tiktu pārņemti pareizi un nemainīti.
