Skóre BLEU (Bilingual Evaluation Understudy) je metrika vyvinutá v roce 2002 ve společnosti IBM pro automatické hodnocení strojových překladů. Měří, kolik slovních sekvencí z překladu se objevuje také v jednom nebo více referenčních lidských překladech, a udává hodnotu mezi 0 a 1 (často uváděnou jako 0–100). BLEU je rychlé a srovnatelné, ale špatně zachycuje význam i styl – dobré parafráze mohou dosáhnout nízkého skóre.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoROUGE (Recall-Oriented Understudy for Gisting Evaluation) je skupina metrik pro porovnávání automaticky generovaných textů – zejména shrnutí – s referenčními texty napsanými lidmi. Měří, kolik slov nebo posloupností slov se překrývá, například jednotlivá slova u ROUGE-1 nebo nejdelší společnou podposloupnost u ROUGE-L. Skóre se počítá rychle, ale spolehlivě nezachytí parafráze se stejným významem ani věcnou správnost.
V oblasti AI znamená benchmarking systematické porovnávání modelů nebo systémů pomocí definovaných úloh a kritérií. Veřejné benchmarky měří například všeobecné znalosti, schopnost uvažování nebo programování; pro praktické použití jsou však nejdůležitější testovací případy z vaší vlastní každodenní práce. Typickými kritérii jsou přesnost, úplnost, doba odezvy a náklady. Pomáhá to rozhodnout, zda pro daný úkol stačí menší a levnější model.
F-skóre je metrika pro hodnocení klasifikačních modelů. Běžné F1 skóre je harmonický průměr přesnosti (kolik předpovězených zásahů je správných) a úplnosti (kolik skutečných zásahů bylo nalezeno) a pohybuje se od 0 do 1. Je užitečné zejména u nevyvážených dat: filtr spamu, který spam téměř nikdy neoznačí, může mít vysokou správnost, ale nízké F1 skóre.
Zpracování přirozeného jazyka je odvětví AI, které počítačům umožňuje analyzovat, chápat a vytvářet lidský jazyk v textu nebo řeči. Zahrnuje úlohy, jako je překlad, klasifikace, sumarizace, analýza sentimentu a odpovídání na otázky. Dříve dominovala pravidla a statistické metody; dnes obor utvářejí velké jazykové modely.
