ROUGE (Recall-Oriented Understudy for Gisting Evaluation) je skupina metrik pro porovnávání automaticky generovaných textů – zejména shrnutí – s referenčními texty napsanými lidmi. Měří, kolik slov nebo posloupností slov se překrývá, například jednotlivá slova u ROUGE-1 nebo nejdelší společnou podposloupnost u ROUGE-L. Skóre se počítá rychle, ale spolehlivě nezachytí parafráze se stejným významem ani věcnou správnost.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoSkóre BLEU (Bilingual Evaluation Understudy) je metrika vyvinutá v roce 2002 ve společnosti IBM pro automatické hodnocení strojových překladů. Měří, kolik slovních sekvencí z překladu se objevuje také v jednom nebo více referenčních lidských překladech, a udává hodnotu mezi 0 a 1 (často uváděnou jako 0–100). BLEU je rychlé a srovnatelné, ale špatně zachycuje význam i styl – dobré parafráze mohou dosáhnout nízkého skóre.
Při automatické sumarizaci textu AI zhušťuje dlouhé texty na jejich klíčové body. Extraktivní metody doslovně přebírají důležité věty, abstraktivní metody obsah přeformulovávají; velké jazykové modely pracují převážně abstraktivně. Hodí se to pro zápisy, zprávy nebo dlouhá e-mailová vlákna; u důležitých rozhodnutí je třeba shrnutí ověřit podle originálu.
V oblasti AI znamená benchmarking systematické porovnávání modelů nebo systémů pomocí definovaných úloh a kritérií. Veřejné benchmarky měří například všeobecné znalosti, schopnost uvažování nebo programování; pro praktické použití jsou však nejdůležitější testovací případy z vaší vlastní každodenní práce. Typickými kritérii jsou přesnost, úplnost, doba odezvy a náklady. Pomáhá to rozhodnout, zda pro daný úkol stačí menší a levnější model.
Generování přirozeného jazyka (NLG) je oblast zpracování jazyka, která z dat, hesel nebo jiných vstupů vytváří srozumitelný text. Dřívější systémy NLG se opíraly o šablony a pravidla; dnes většina využívá velké jazykové modely. Typické použití zahrnuje zprávy o počasí a burze, popisy produktů, shrnutí klíčových čísel a odpovědi chatbotů. Důležité je, aby se čísla a fakta ze vstupů přenesla správně a beze změny.
