PT
Iniciar sessãoComeçar agora
Glossário

Especialista em garantia de qualidade de IA

O que é Especialista em garantia de qualidade de IA?

Um especialista em garantia de qualidade de IA verifica se as aplicações de IA funcionam de forma fiável, correta e adequada. A função inclui perguntas de teste e benchmarks, a comparação de diferentes modelos, a análise das avaliações dos utilizadores e a deteção de alucinações e da degradação ao longo do tempo. Por exemplo, antes de mudar para um novo modelo, 50 pedidos típicos de clientes são respondidos pelos dois modelos e comparados com critérios fixos.

Como o KI.ordo ajuda

No KI.ordo, o modelo "Comparar modelos (benchmark)" e as avaliações 👍/👎 das respostas apoiam este trabalho; as avaliações servem para melhorar o conhecimento e as instruções, não para treinar modelos.

Saber mais : Especialista em garantia de qualidade de IA

Modelos correspondentes

Temas

  • Qualidade
  • Testes
  • Função

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração
← Todos os termos

Termos relacionados

Benchmarking

Em IA, benchmarking significa comparar sistematicamente modelos ou sistemas com base em tarefas e critérios definidos. Os benchmarks públicos medem, por exemplo, conhecimentos gerais, capacidade de raciocínio ou de programação; para a utilização prática, porém, o que mais conta são casos de teste do próprio dia a dia de trabalho. Critérios típicos são a exatidão, a exaustividade, o tempo de resposta e o custo. Isto ajuda a decidir se um modelo mais pequeno e mais barato é suficiente para uma tarefa.

  • Comparação de modelos
  • Evaluation
  • +1
Modelo

Alucinação

Uma alucinação é uma saída de um modelo de IA que soa convincente, mas é errada ou totalmente inventada – como uma decisão judicial inexistente, um valor incorreto ou uma fonte inventada. A causa: os modelos de linguagem produzem formulações prováveis; não consultam factos automaticamente. O risco diminui quando as respostas se baseiam em fontes verificadas, as provas são citadas e as pessoas verificam os resultados importantes.

  • Modelos de linguagem
  • Fiabilidade
  • +1
Modelo

Exatidão e estabilidade dos modelos de IA

A exatidão descreve com que frequência um modelo de IA produz resultados corretos; a estabilidade descreve com que fiabilidade esse desempenho se mantém – com entradas ligeiramente alteradas, dados novos ou ao longo do tempo. Um modelo pode ser muito exato nos testes, mas instável se a simples reformulação de uma pergunta levar a uma resposta diferente. Na utilização real, ambas as propriedades são verificadas com casos de teste fixos, validação cruzada e monitorização contínua.

  • Qualidade do modelo
  • Robustez
  • +1

Desvio do modelo

O desvio do modelo é a perda gradual de qualidade preditiva de um modelo durante o funcionamento, porque a realidade se altera em relação aos dados de treino. Distingue-se entre alterações nos dados de entrada (desvio dos dados) e alterações na relação entre as entradas e os resultados (desvio de conceito). Exemplo: um modelo de deteção de fraude deixa passar novos esquemas de fraude. Entre as soluções contam-se a monitorização contínua das métricas e o retreino regular.

  • MLOps
  • qualidade do modelo
  • +1