Glossário

Exatidão e estabilidade dos modelos de IA

O que é Exatidão e estabilidade dos modelos de IA?

A exatidão descreve com que frequência um modelo de IA produz resultados corretos; a estabilidade descreve com que fiabilidade esse desempenho se mantém – com entradas ligeiramente alteradas, dados novos ou ao longo do tempo. Um modelo pode ser muito exato nos testes, mas instável se a simples reformulação de uma pergunta levar a uma resposta diferente. Na utilização real, ambas as propriedades são verificadas com casos de teste fixos, validação cruzada e monitorização contínua.

Temas

Qualidade do modelo
Robustez
Evaluation

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

Robustez do modelo

A robustez do modelo descreve com que fiabilidade um modelo de IA funciona quando as entradas têm ruído, estão incompletas, são invulgares ou foram deliberadamente manipuladas. Um modelo robusto continua a fornecer resultados estáveis, por exemplo no reconhecimento de imagens com má iluminação ou num modelo de linguagem que lida com erros de digitação. A robustez avalia-se com testes de esforço, dados de treino diversificados e testes contra tentativas deliberadas de engano, e é particularmente importante em aplicações críticas para a segurança.

fiabilidade
qualidade do modelo
+1

Desvio do modelo

O desvio do modelo é a perda gradual de qualidade preditiva de um modelo durante o funcionamento, porque a realidade se altera em relação aos dados de treino. Distingue-se entre alterações nos dados de entrada (desvio dos dados) e alterações na relação entre as entradas e os resultados (desvio de conceito). Exemplo: um modelo de deteção de fraude deixa passar novos esquemas de fraude. Entre as soluções contam-se a monitorização contínua das métricas e o retreino regular.

MLOps
qualidade do modelo
+1

Validação cruzada

A validação cruzada é um método para verificar em que medida um modelo generaliza para dados novos, nunca vistos. Na validação cruzada k-fold, os dados são divididos em k partes; o modelo é treinado k vezes em k−1 partes e testado de cada vez na parte restante, após o que os resultados são calculados em média. Isto ajuda a detetar o sobreajuste e a comparar modelos ou configurações de forma justa, sobretudo quando há poucos dados.

Avaliação de modelos
Validação
+1

Benchmarking

Em IA, benchmarking significa comparar sistematicamente modelos ou sistemas com base em tarefas e critérios definidos. Os benchmarks públicos medem, por exemplo, conhecimentos gerais, capacidade de raciocínio ou de programação; para a utilização prática, porém, o que mais conta são casos de teste do próprio dia a dia de trabalho. Critérios típicos são a exatidão, a exaustividade, o tempo de resposta e o custo. Isto ajuda a decidir se um modelo mais pequeno e mais barato é suficiente para uma tarefa.

Comparação de modelos
Evaluation
+1

Modelo