Skóre BLEU (Bilingual Evaluation Understudy) je metrika vyvinutá v roku 2002 v IBM na automatické hodnotenie strojových prekladov. Meria, koľko slovných sekvencií z prekladu sa vyskytuje aj v jednom alebo viacerých ľudských referenčných prekladoch, a udáva hodnotu medzi 0 a 1 (často zobrazenú ako 0 – 100). BLEU je rýchle a porovnateľné, ale nezachytáva dobre význam ani štýl – dobré parafrázy môžu dosiahnuť nízke skóre.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoROUGE (Recall-Oriented Understudy for Gisting Evaluation) je rodina metrík na porovnávanie automaticky generovaných textov – najmä zhrnutí – s referenčnými textami napísanými ľuďmi. Meria, koľko slov alebo postupností slov sa prekrýva, napríklad jednotlivé slová v ROUGE-1 alebo najdlhšia spoločná podpostupnosť v ROUGE-L. Skóre sa počíta rýchlo, no nespoľahlivo zachytáva parafrázy s rovnakým významom ani vecnú správnosť.
Benchmarking v oblasti AI znamená systematické porovnávanie modelov alebo systémov pomocou definovaných úloh a kritérií. Verejné benchmarky merajú napríklad všeobecné znalosti, uvažovanie alebo schopnosť programovať; pre praktické použitie sú však najdôležitejšie testovacie prípady z vlastnej každodennej práce. Typickými kritériami sú správnosť, úplnosť, čas odozvy a náklady. Pomáha to rozhodnúť, či na úlohu stačí menší a lacnejší model.
Skóre F je metrika na hodnotenie klasifikačných modelov. Bežné skóre F1 je harmonický priemer presnosti (koľko predpovedaných zásahov je správnych) a úplnosti (koľko skutočných zásahov sa našlo) a pohybuje sa od 0 do 1. Je užitočné najmä pri nevyvážených údajoch: filter spamu, ktorý spam takmer nikdy neoznačí, môže mať vysokú správnosť, ale nízke skóre F1.
Spracovanie prirodzeného jazyka je odvetvie AI, ktoré počítačom umožňuje analyzovať, chápať a generovať ľudský jazyk v texte alebo reči. Zahŕňa úlohy, ako sú preklad, klasifikácia, sumarizácia, analýza sentimentu a odpovedanie na otázky. Kedysi dominovali pravidlá a štatistické metódy; dnes oblasť formujú veľké jazykové modely.
