PT
Iniciar sessãoComeçar agora
Glossário

Manipulação da janela de contexto

O que é Manipulação da janela de contexto?

A manipulação da janela de contexto designa ataques que influenciam deliberadamente o texto que um modelo de linguagem processa de uma só vez, por exemplo através de instruções ocultas em documentos, partes anteriores de uma conversa fabricadas ou grandes quantidades de texto de enchimento que empurram as regras originais para segundo plano. A proteção vem de separar claramente as instruções de confiança do conteúdo externo, de limites de comprimento, da verificação das entradas e de conceder aos agentes o mínimo possível de permissões.

Como o KI.ordo ajuda

O modelo "Firewall de IA: verificar entrada" do KI.ordo pode ser colocado à frente de um agente como subfluxo para filtrar previamente entradas suspeitas.

Saber mais : Manipulação da janela de contexto

Modelos correspondentes

Temas

  • Segurança
  • Prompt injection
  • LLM

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração
← Todos os termos

Termos relacionados

Prompt injection indireta

Numa prompt injection indireta, as instruções manipuladoras não estão na entrada do utilizador, mas escondidas em conteúdos que um sistema de IA processa pelo caminho, como páginas web, e-mails ou documentos. Quando um agente lê esse conteúdo, pode confundir comandos ocultos com tarefas genuínas e, por exemplo, divulgar dados. As salvaguardas incluem tratar o conteúdo externo estritamente como dados, limitar as permissões, filtrar as entradas e exigir aprovação humana para ações críticas.

  • Segurança
  • Prompt injection
  • +1
Modelo

Firewall de IA

Uma firewall de IA é uma camada de proteção entre os utilizadores, as fontes de dados e um modelo de IA. Filtra as entradas para detetar tentativas de manipulação, como prompt injection ou jailbreaks, e verifica as saídas, por exemplo quanto a dados confidenciais ou conteúdos indesejados, antes de as transmitir. Pode usar regras, modelos de classificação ou um segundo modelo de linguagem. Uma firewall de IA reduz o risco, mas não oferece proteção total e não substitui nem as permissões limitadas nem os testes.

  • Segurança
  • Prompt injection
  • +1
Modelo

Token Smuggling

O token smuggling é uma forma de jailbreak em que instruções indesejadas são disfarçadas, por exemplo divididas em fragmentos, recodificadas ou escritas com carateres semelhantes, de modo que filtros simples de palavras-chave não as detetam, mas o modelo de linguagem continua a perceber o seu sentido. A proteção inclui normalizar as entradas antes de serem avaliadas, verificações baseadas no conteúdo e não apenas nas palavras, revisão das saídas e atribuição aos agentes de IA do mínimo de permissões possível.

  • Segurança
  • Jailbreaking
  • +1
Modelo

Jailbreaking

Jailbreaking designa tentativas de contornar as regras de segurança de um modelo de IA através de entradas habilmente formuladas, para que produza conteúdos ou execute ações que deveria recusar. Para as organizações, é um risco, porque um chatbot poderia, por exemplo, revelar instruções confidenciais ou responder de forma inadequada. As medidas de proteção incluem instruções de sistema claras, filtragem de entradas e saídas, permissões limitadas, registos e testes de segurança regulares (red teaming).

  • Segurança
  • Prevenção de abusos
  • +1
Modelo