ROUGE (Recall-Oriented Understudy for Gisting Evaluation) je družina metrik za primerjavo samodejno ustvarjenih besedil – zlasti povzetkov – z referenčnimi besedili, ki so jih napisali ljudje. Meri, koliko besed ali zaporedij besed se prekriva, na primer posamezne besede pri ROUGE-1 ali najdaljše skupno podzaporedje pri ROUGE-L. Ocena se izračuna hitro, vendar ne zanesljivo zajame parafraz z enakim pomenom ali dejanske pravilnosti.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevOcena BLEU (Bilingual Evaluation Understudy) je metrika, razvita pri IBM leta 2002 za samodejno vrednotenje strojnih prevodov. Meri, koliko zaporedij besed v prevodu se pojavi tudi v enem ali več človeških referenčnih prevodih, in poda vrednost med 0 in 1 (pogosto prikazano kot 0–100). BLEU je hiter in primerljiv, vendar slabo zajame pomen in slog – dobre parafraze so lahko slabo ocenjene.
Pri samodejnem povzemanju besedil UI dolga besedila strne v ključne točke. Ekstraktivne metode pomembne stavke prepišejo dobesedno, abstraktivne pa vsebino preoblikujejo; veliki jezikovni modeli delujejo predvsem abstraktivno. To je koristno za zapisnike, poročila ali dolge verige e-poštnih sporočil; pri pomembnih odločitvah je treba povzetek preveriti z izvirnikom.
Primerjalno testiranje (benchmarking) na področju UI pomeni sistematično primerjanje modelov ali sistemov z opredeljenimi nalogami in merili. Javna primerjalna merila merijo na primer splošno znanje, sklepanje ali programerske sposobnosti; za praktično uporabo pa so najpomembnejši testni primeri iz lastnega vsakdanjega dela. Tipična merila so pravilnost, popolnost, odzivni čas in stroški. To pomaga odločiti, ali je manjši, cenejši model za nalogo dovolj dober.
Generiranje naravnega jezika (NLG) je področje obdelave jezika, ki iz podatkov, alinej ali drugih vhodov ustvari razumljivo besedilo. Starejši sistemi NLG so temeljili na predlogah in pravilih; danes večina uporablja velike jezikovne modele. Tipične uporabe so vremenska in borzna poročila, opisi izdelkov, povzetki ključnih številk in odgovori klepetalnih robotov. Pomembno je, da se številke in dejstva iz vhodov prenesejo pravilno in nespremenjeno.
