O ROUGE (Recall-Oriented Understudy for Gisting Evaluation) é uma família de métricas para comparar textos gerados automaticamente – sobretudo resumos – com textos de referência escritos por pessoas. Mede quantas palavras ou sequências de palavras coincidem, por exemplo palavras isoladas no ROUGE-1 ou a subsequência comum mais longa no ROUGE-L. A pontuação calcula-se depressa, mas não capta de forma fiável paráfrases com o mesmo sentido nem a exatidão factual.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoA pontuação BLEU (Bilingual Evaluation Understudy) é uma métrica desenvolvida na IBM em 2002 para avaliar automaticamente traduções automáticas. Mede quantas sequências de palavras de uma tradução surgem também numa ou mais traduções de referência humanas e dá um valor entre 0 e 1 (muitas vezes apresentado como 0–100). O BLEU é rápido e comparável, mas não capta bem nem o sentido nem o estilo – boas paráfrases podem obter pontuações baixas.
No resumo automático de texto, a IA condensa textos longos nos seus pontos principais. Os métodos extrativos copiam frases importantes literalmente, enquanto os métodos abstrativos reformulam o conteúdo; os grandes modelos de linguagem trabalham sobretudo de forma abstrativa. É útil para atas, relatórios ou longas cadeias de e-mails; nas decisões importantes, o resumo deve ser verificado com o original.
Em IA, benchmarking significa comparar sistematicamente modelos ou sistemas com base em tarefas e critérios definidos. Os benchmarks públicos medem, por exemplo, conhecimentos gerais, capacidade de raciocínio ou de programação; para a utilização prática, porém, o que mais conta são casos de teste do próprio dia a dia de trabalho. Critérios típicos são a exatidão, a exaustividade, o tempo de resposta e o custo. Isto ajuda a decidir se um modelo mais pequeno e mais barato é suficiente para uma tarefa.
A geração de linguagem natural (NLG) é a área do processamento de linguagem que produz texto compreensível a partir de dados, tópicos ou outras entradas. Os primeiros sistemas de NLG baseavam-se em modelos e regras; hoje, a maioria utiliza grandes modelos de linguagem. Entre as utilizações típicas contam-se relatórios meteorológicos e da bolsa, descrições de produtos, resumos de indicadores e respostas de chatbots. É importante que os números e os factos das entradas sejam transpostos corretamente e sem alterações.
