Glossário

Exfiltração de dados

O que é Exfiltração de dados?

A exfiltração de dados é a transferência não autorizada de dados para fora de um sistema. Em aplicações de IA, pode acontecer quando um chatbot ou agente é manipulado por entradas especialmente construídas ou por conteúdos preparados – por exemplo, numa página web que ele lê – para revelar ou reencaminhar informações confidenciais. A proteção inclui direitos de acesso mínimos, verificação das entradas, restrições às ligações de saída e monitorização das respostas.

Como o KI.ordo ajuda

O modelo "Firewall de IA" do KI.ordo pode ser colocado à frente de um agente como subfluxo e retém as entradas que tentam, por exemplo, obter instruções do sistema ou dados.

Saber mais : Exfiltração de dados

Temas

  • Segurança da IA
  • proteção de dados
  • prompt injection

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração
← Todos os termos

Termos relacionados

Firewall de IA

Uma firewall de IA é uma camada de proteção entre os utilizadores, as fontes de dados e um modelo de IA. Filtra as entradas para detetar tentativas de manipulação, como prompt injection ou jailbreaks, e verifica as saídas, por exemplo quanto a dados confidenciais ou conteúdos indesejados, antes de as transmitir. Pode usar regras, modelos de classificação ou um segundo modelo de linguagem. Uma firewall de IA reduz o risco, mas não oferece proteção total e não substitui nem as permissões limitadas nem os testes.

  • Segurança
  • Prompt injection
  • +1
Modelo

Prompt injection indireta

Numa prompt injection indireta, as instruções manipuladoras não estão na entrada do utilizador, mas escondidas em conteúdos que um sistema de IA processa pelo caminho, como páginas web, e-mails ou documentos. Quando um agente lê esse conteúdo, pode confundir comandos ocultos com tarefas genuínas e, por exemplo, divulgar dados. As salvaguardas incluem tratar o conteúdo externo estritamente como dados, limitar as permissões, filtrar as entradas e exigir aprovação humana para ações críticas.

  • Segurança
  • Prompt injection
  • +1
Modelo

Fuga de prompt

A fuga de prompt (prompt leaking) designa a divulgação involuntária das instruções internas de um sistema de IA, por exemplo quando um chatbot revela o seu prompt de sistema em resposta a um pedido habilmente formulado. Isto torna-se um problema se essas instruções contiverem lógica de negócio, informações internas ou até credenciais. A lista OWASP para aplicações LLM refere este risco de forma explícita. A salvaguarda mais eficaz é escrever as instruções como se pudessem tornar-se públicas, nunca nelas guardar segredos e verificar também as saídas.

  • Segurança da IA
  • prompt de sistema
  • +1
Modelo

segurança dos LLM

A segurança dos LLM abrange todas as medidas que protegem aplicações construídas sobre grandes modelos de linguagem contra utilização abusiva, fuga de dados e comportamentos indesejados. Os riscos típicos incluem prompt injection, divulgação de instruções ou dados confidenciais e agentes com permissões excessivas. A proteção resulta de várias camadas: instruções claras, direitos restritos, verificações de entradas e saídas, firewalls de IA, red teaming e auditorias regulares.

  • segurança
  • modelos de linguagem
  • +1
Modelo