Ocena BLEU (Bilingual Evaluation Understudy) je metrika, razvita pri IBM leta 2002 za samodejno vrednotenje strojnih prevodov. Meri, koliko zaporedij besed v prevodu se pojavi tudi v enem ali več človeških referenčnih prevodih, in poda vrednost med 0 in 1 (pogosto prikazano kot 0–100). BLEU je hiter in primerljiv, vendar slabo zajame pomen in slog – dobre parafraze so lahko slabo ocenjene.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevROUGE (Recall-Oriented Understudy for Gisting Evaluation) je družina metrik za primerjavo samodejno ustvarjenih besedil – zlasti povzetkov – z referenčnimi besedili, ki so jih napisali ljudje. Meri, koliko besed ali zaporedij besed se prekriva, na primer posamezne besede pri ROUGE-1 ali najdaljše skupno podzaporedje pri ROUGE-L. Ocena se izračuna hitro, vendar ne zanesljivo zajame parafraz z enakim pomenom ali dejanske pravilnosti.
Primerjalno testiranje (benchmarking) na področju UI pomeni sistematično primerjanje modelov ali sistemov z opredeljenimi nalogami in merili. Javna primerjalna merila merijo na primer splošno znanje, sklepanje ali programerske sposobnosti; za praktično uporabo pa so najpomembnejši testni primeri iz lastnega vsakdanjega dela. Tipična merila so pravilnost, popolnost, odzivni čas in stroški. To pomaga odločiti, ali je manjši, cenejši model za nalogo dovolj dober.
Ocena F je merilo za vrednotenje klasifikacijskih modelov. Običajna ocena F1 je harmonična sredina natančnosti (koliko napovedanih zadetkov je pravilnih) in priklica (koliko dejanskih zadetkov je bilo najdenih) ter se giblje od 0 do 1. Posebej je uporabna pri neuravnoteženih podatkih: filter neželene pošte, ki skoraj nikoli ne označi neželene pošte, ima lahko visoko točnost, a nizko oceno F1.
Obdelava naravnega jezika je veja UI, ki računalnikom omogoča analizo, razumevanje in generiranje človeškega jezika v besedilu ali govoru. Zajema naloge, kot so prevajanje, razvrščanje, povzemanje, analiza sentimenta in odgovarjanje na vprašanja. Nekoč so prevladovala pravila in statistične metode; danes področje oblikujejo veliki jezikovni modeli.
