Glossário

Aprendizagem automática adversarial

O que é Aprendizagem automática adversarial?

A aprendizagem automática adversarial estuda como os modelos de IA podem ser induzidos em erro por entradas ou dados de treino deliberadamente manipulados – e como protegê-los. Exemplos conhecidos são alterações de imagem quase invisíveis que invertem uma classificação, ou dados de treino envenenados. O tema torna-se relevante para as organizações assim que a IA apoia decisões relevantes para a segurança. As contramedidas incluem treino robusto, verificação das entradas, monitorização e testes de segurança regulares.

Temas

Segurança da IA
Robustez
Proteção contra ameaças

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

Robustez do modelo

A robustez do modelo descreve com que fiabilidade um modelo de IA funciona quando as entradas têm ruído, estão incompletas, são invulgares ou foram deliberadamente manipuladas. Um modelo robusto continua a fornecer resultados estáveis, por exemplo no reconhecimento de imagens com má iluminação ou num modelo de linguagem que lida com erros de digitação. A robustez avalia-se com testes de esforço, dados de treino diversificados e testes contra tentativas deliberadas de engano, e é particularmente importante em aplicações críticas para a segurança.

fiabilidade
qualidade do modelo
+1

Red teaming de IA

O red teaming de IA é a análise estruturada de um sistema de IA na perspetiva de potenciais atacantes ou de utilização abusiva. Especialistas testam de forma controlada se um chatbot revela instruções confidenciais, pode ser levado a comportamentos indesejados, fornece factos falsos ou expõe dados. As conclusões servem para melhorar instruções, filtros e permissões. Uma auditoria de segurança de chatbot é uma forma mais ligeira: avalia a configuração e conversas de exemplo face a áreas de risco conhecidas, como as do OWASP Top 10 para aplicações LLM.

Segurança da IA
Testes de segurança
+1

Modelo

segurança dos LLM

A segurança dos LLM abrange todas as medidas que protegem aplicações construídas sobre grandes modelos de linguagem contra utilização abusiva, fuga de dados e comportamentos indesejados. Os riscos típicos incluem prompt injection, divulgação de instruções ou dados confidenciais e agentes com permissões excessivas. A proteção resulta de várias camadas: instruções claras, direitos restritos, verificações de entradas e saídas, firewalls de IA, red teaming e auditorias regulares.

segurança
modelos de linguagem
+1

Modelo

Dados de treino

Os dados de treino são os exemplos a partir dos quais um modelo de IA aprende padrões: grandes coleções de texto para modelos de linguagem, imagens etiquetadas para modelos de imagem. A sua qualidade, diversidade e atualidade determinam em grande medida a fiabilidade e a equidade de um modelo e o quão atualizado será o seu conhecimento. Para as organizações, também importa saber se um fornecedor utiliza os dados dos clientes que lhe são fornecidos para treino adicional.

Dados
Training
+1