PT
Iniciar sessãoComeçar agora
Glossário

Benchmarking

O que é Benchmarking?

Em IA, benchmarking significa comparar sistematicamente modelos ou sistemas com base em tarefas e critérios definidos. Os benchmarks públicos medem, por exemplo, conhecimentos gerais, capacidade de raciocínio ou de programação; para a utilização prática, porém, o que mais conta são casos de teste do próprio dia a dia de trabalho. Critérios típicos são a exatidão, a exaustividade, o tempo de resposta e o custo. Isto ajuda a decidir se um modelo mais pequeno e mais barato é suficiente para uma tarefa.

Como o KI.ordo ajuda

O modelo KI.ordo «Comparar modelos (benchmark)» envia a mesma tarefa a um modelo Claude Haiku e a um modelo Claude Sonnet e avalia ambas as respostas quanto a exatidão, exaustividade e clareza.

Saber mais : Benchmarking

Modelos correspondentes

Temas

  • Comparação de modelos
  • Evaluation
  • Qualidade

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração
← Todos os termos

Termos relacionados

Exatidão e estabilidade dos modelos de IA

A exatidão descreve com que frequência um modelo de IA produz resultados corretos; a estabilidade descreve com que fiabilidade esse desempenho se mantém – com entradas ligeiramente alteradas, dados novos ou ao longo do tempo. Um modelo pode ser muito exato nos testes, mas instável se a simples reformulação de uma pergunta levar a uma resposta diferente. Na utilização real, ambas as propriedades são verificadas com casos de teste fixos, validação cruzada e monitorização contínua.

  • Qualidade do modelo
  • Robustez
  • +1

Especialista em garantia de qualidade de IA

Um especialista em garantia de qualidade de IA verifica se as aplicações de IA funcionam de forma fiável, correta e adequada. A função inclui perguntas de teste e benchmarks, a comparação de diferentes modelos, a análise das avaliações dos utilizadores e a deteção de alucinações e da degradação ao longo do tempo. Por exemplo, antes de mudar para um novo modelo, 50 pedidos típicos de clientes são respondidos pelos dois modelos e comparados com critérios fixos.

  • Qualidade
  • Testes
  • +1
Modelo

Custos dos LLM

Os custos dos grandes modelos de linguagem são normalmente faturados por token, isto é, unidades de texto do tamanho aproximado de uma sílaba a uma palavra; os tokens de entrada e de saída têm preços separados, sendo os de saída geralmente mais caros. Os modelos maiores custam mais por token do que os modelos pequenos e rápidos, como o Claude Haiku, que muitas vezes bastam para tarefas simples. O prompt caching reduz os custos quando o mesmo contexto longo é enviado repetidamente. Instruções concisas e conhecimento cuidadosamente selecionado também ajudam.

  • Custos
  • Tokens
  • +1

Pontuação BLEU

A pontuação BLEU (Bilingual Evaluation Understudy) é uma métrica desenvolvida na IBM em 2002 para avaliar automaticamente traduções automáticas. Mede quantas sequências de palavras de uma tradução surgem também numa ou mais traduções de referência humanas e dá um valor entre 0 e 1 (muitas vezes apresentado como 0–100). O BLEU é rápido e comparável, mas não capta bem nem o sentido nem o estilo – boas paráfrases podem obter pontuações baixas.

  • Evaluation
  • Tradução
  • +1