ROUGE (Recall-Oriented Understudy for Gisting Evaluation) obitelj je metrika za usporedbu automatski generiranih tekstova – osobito sažetaka – s referentnim tekstovima koje su napisali ljudi. Mjeri koliko se riječi ili nizova riječi preklapa, primjerice pojedinačne riječi kod ROUGE-1 ili najdulji zajednički podniz kod ROUGE-L. Ocjena se brzo izračunava, ali ne obuhvaća pouzdano parafraze istog značenja niti činjeničnu točnost.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoBLEU ocjena (Bilingual Evaluation Understudy) metrika je razvijena u IBM-u 2002. za automatsko vrednovanje strojnih prijevoda. Mjeri koliko se nizova riječi iz prijevoda pojavljuje i u jednom ili više ljudskih referentnih prijevoda te daje vrijednost između 0 i 1 (često prikazanu kao 0–100). BLEU je brz i usporediv, ali ne obuhvaća dobro ni značenje ni stil – dobre parafraze mogu dobiti nisku ocjenu.
Kod automatskog sažimanja teksta UI svodi dugačke tekstove na ključne točke. Ekstraktivne metode doslovno preuzimaju važne rečenice, dok ih apstraktivne metode preoblikuju; veliki jezični modeli rade uglavnom apstraktivno. To je korisno za zapisnike, izvješća ili duge nizove e-poruka; kod važnih odluka sažetak treba provjeriti u odnosu na izvornik.
U području UI-ja benchmarking znači sustavnu usporedbu modela ili sustava pomoću definiranih zadataka i kriterija. Javni benchmarkovi mjere, primjerice, opće znanje, zaključivanje ili sposobnost programiranja; za praktičnu primjenu ipak su najvažniji testni slučajevi iz vlastitog svakodnevnog rada. Tipični su kriteriji točnost, potpunost, vrijeme odziva i trošak. To pomaže odlučiti je li manji, jeftiniji model dovoljno dobar za neki zadatak.
Generiranje prirodnog jezika (NLG) područje je obrade jezika koje iz podataka, natuknica ili drugih ulaza proizvodi razumljiv tekst. Raniji NLG sustavi oslanjali su se na predloške i pravila, a danas većina koristi velike jezične modele. Tipične primjene su izvješća o vremenu i burzi, opisi proizvoda, sažeci ključnih pokazatelja i odgovori chatbota. Važno je da se brojke i činjenice iz ulaznih podataka prenesu točno i nepromijenjeno.
