BLEU ocjena (Bilingual Evaluation Understudy) metrika je razvijena u IBM-u 2002. za automatsko vrednovanje strojnih prijevoda. Mjeri koliko se nizova riječi iz prijevoda pojavljuje i u jednom ili više ljudskih referentnih prijevoda te daje vrijednost između 0 i 1 (često prikazanu kao 0–100). BLEU je brz i usporediv, ali ne obuhvaća dobro ni značenje ni stil – dobre parafraze mogu dobiti nisku ocjenu.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoROUGE (Recall-Oriented Understudy for Gisting Evaluation) obitelj je metrika za usporedbu automatski generiranih tekstova – osobito sažetaka – s referentnim tekstovima koje su napisali ljudi. Mjeri koliko se riječi ili nizova riječi preklapa, primjerice pojedinačne riječi kod ROUGE-1 ili najdulji zajednički podniz kod ROUGE-L. Ocjena se brzo izračunava, ali ne obuhvaća pouzdano parafraze istog značenja niti činjeničnu točnost.
U području UI-ja benchmarking znači sustavnu usporedbu modela ili sustava pomoću definiranih zadataka i kriterija. Javni benchmarkovi mjere, primjerice, opće znanje, zaključivanje ili sposobnost programiranja; za praktičnu primjenu ipak su najvažniji testni slučajevi iz vlastitog svakodnevnog rada. Tipični su kriteriji točnost, potpunost, vrijeme odziva i trošak. To pomaže odlučiti je li manji, jeftiniji model dovoljno dobar za neki zadatak.
F-mjera je metrika za ocjenjivanje klasifikacijskih modela. Uobičajena F1 mjera je harmonijska sredina preciznosti (koliko je predviđenih pogodaka točno) i odziva (koliko je stvarnih pogodaka pronađeno), a kreće se od 0 do 1. Posebno je korisna kod neuravnoteženih podataka: filtar za spam koji gotovo nikad ne označi spam može imati visoku točnost, ali nisku F1 mjeru.
Obrada prirodnog jezika grana je UI-ja koja računalima omogućuje analizu, razumijevanje i generiranje ljudskog jezika u tekstu ili govoru. Obuhvaća zadatke poput prevođenja, klasifikacije, sažimanja, analize sentimenta i odgovaranja na pitanja. Nekoć su dominirala pravila i statističke metode; danas to područje oblikuju veliki jezični modeli.
