A pontuação BLEU (Bilingual Evaluation Understudy) é uma métrica desenvolvida na IBM em 2002 para avaliar automaticamente traduções automáticas. Mede quantas sequências de palavras de uma tradução surgem também numa ou mais traduções de referência humanas e dá um valor entre 0 e 1 (muitas vezes apresentado como 0–100). O BLEU é rápido e comparável, mas não capta bem nem o sentido nem o estilo – boas paráfrases podem obter pontuações baixas.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoO ROUGE (Recall-Oriented Understudy for Gisting Evaluation) é uma família de métricas para comparar textos gerados automaticamente – sobretudo resumos – com textos de referência escritos por pessoas. Mede quantas palavras ou sequências de palavras coincidem, por exemplo palavras isoladas no ROUGE-1 ou a subsequência comum mais longa no ROUGE-L. A pontuação calcula-se depressa, mas não capta de forma fiável paráfrases com o mesmo sentido nem a exatidão factual.
Em IA, benchmarking significa comparar sistematicamente modelos ou sistemas com base em tarefas e critérios definidos. Os benchmarks públicos medem, por exemplo, conhecimentos gerais, capacidade de raciocínio ou de programação; para a utilização prática, porém, o que mais conta são casos de teste do próprio dia a dia de trabalho. Critérios típicos são a exatidão, a exaustividade, o tempo de resposta e o custo. Isto ajuda a decidir se um modelo mais pequeno e mais barato é suficiente para uma tarefa.
O F-score é uma métrica para avaliar modelos de classificação. A pontuação F1, a mais comum, é a média harmónica da precisão (quantos dos acertos previstos estão corretos) e da revocação (quantos dos acertos reais foram encontrados) e varia entre 0 e 1. É especialmente útil com dados desequilibrados: um filtro de spam que quase nunca assinala spam pode ter uma exatidão elevada, mas uma pontuação F1 baixa.
O processamento de linguagem natural é o ramo da IA que permite aos computadores analisar, compreender e gerar linguagem humana em texto ou fala. Abrange tarefas como tradução, classificação, resumo, análise de sentimento e resposta a perguntas. Em tempos dominaram as regras e os métodos estatísticos; hoje, a área é moldada pelos grandes modelos de linguagem.
