ROUGE (Recall-Oriented Understudy for Gisting Evaluation) je rodina metrík na porovnávanie automaticky generovaných textov – najmä zhrnutí – s referenčnými textami napísanými ľuďmi. Meria, koľko slov alebo postupností slov sa prekrýva, napríklad jednotlivé slová v ROUGE-1 alebo najdlhšia spoločná podpostupnosť v ROUGE-L. Skóre sa počíta rýchlo, no nespoľahlivo zachytáva parafrázy s rovnakým významom ani vecnú správnosť.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoSkóre BLEU (Bilingual Evaluation Understudy) je metrika vyvinutá v roku 2002 v IBM na automatické hodnotenie strojových prekladov. Meria, koľko slovných sekvencií z prekladu sa vyskytuje aj v jednom alebo viacerých ľudských referenčných prekladoch, a udáva hodnotu medzi 0 a 1 (často zobrazenú ako 0 – 100). BLEU je rýchle a porovnateľné, ale nezachytáva dobre význam ani štýl – dobré parafrázy môžu dosiahnuť nízke skóre.
Pri automatickej sumarizácii textu AI zhustí dlhé texty na ich kľúčové body. Extraktívne metódy doslovne kopírujú dôležité vety, kým abstraktívne metódy obsah preformulujú; veľké jazykové modely pracujú najmä abstraktívne. Je to užitočné pri zápisniciach, správach alebo dlhých e-mailových vláknach; pri dôležitých rozhodnutiach by sa zhrnutie malo skontrolovať voči originálu.
Benchmarking v oblasti AI znamená systematické porovnávanie modelov alebo systémov pomocou definovaných úloh a kritérií. Verejné benchmarky merajú napríklad všeobecné znalosti, uvažovanie alebo schopnosť programovať; pre praktické použitie sú však najdôležitejšie testovacie prípady z vlastnej každodennej práce. Typickými kritériami sú správnosť, úplnosť, čas odozvy a náklady. Pomáha to rozhodnúť, či na úlohu stačí menší a lacnejší model.
Generovanie prirodzeného jazyka (NLG) je oblasť spracovania jazyka, ktorá z dát, odrážok alebo iných vstupov vytvára zrozumiteľný text. Staršie systémy NLG sa opierali o šablóny a pravidlá; dnes väčšina využíva veľké jazykové modely. Typické použitia zahŕňajú správy o počasí a burze, popisy produktov, zhrnutia kľúčových ukazovateľov a odpovede chatbotov. Dôležité je, aby sa čísla a fakty zo vstupov preniesli správne a nezmenené.
