PT
Iniciar sessãoComeçar agora
Glossário

Token Smuggling

O que é Token Smuggling?

O token smuggling é uma forma de jailbreak em que instruções indesejadas são disfarçadas, por exemplo divididas em fragmentos, recodificadas ou escritas com carateres semelhantes, de modo que filtros simples de palavras-chave não as detetam, mas o modelo de linguagem continua a perceber o seu sentido. A proteção inclui normalizar as entradas antes de serem avaliadas, verificações baseadas no conteúdo e não apenas nas palavras, revisão das saídas e atribuição aos agentes de IA do mínimo de permissões possível.

Como o KI.ordo ajuda

O modelo «Firewall de IA: verificar entrada» do KI.ordo faz avaliar o conteúdo das entradas suspeitas antes de chegarem a um agente e bloqueia-as, se necessário.

Saber mais : Token Smuggling

Modelos correspondentes

Temas

  • Segurança
  • Jailbreaking
  • LLM

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração
← Todos os termos

Termos relacionados

Jailbreaking

Jailbreaking designa tentativas de contornar as regras de segurança de um modelo de IA através de entradas habilmente formuladas, para que produza conteúdos ou execute ações que deveria recusar. Para as organizações, é um risco, porque um chatbot poderia, por exemplo, revelar instruções confidenciais ou responder de forma inadequada. As medidas de proteção incluem instruções de sistema claras, filtragem de entradas e saídas, permissões limitadas, registos e testes de segurança regulares (red teaming).

  • Segurança
  • Prevenção de abusos
  • +1
Modelo

Firewall de IA

Uma firewall de IA é uma camada de proteção entre os utilizadores, as fontes de dados e um modelo de IA. Filtra as entradas para detetar tentativas de manipulação, como prompt injection ou jailbreaks, e verifica as saídas, por exemplo quanto a dados confidenciais ou conteúdos indesejados, antes de as transmitir. Pode usar regras, modelos de classificação ou um segundo modelo de linguagem. Uma firewall de IA reduz o risco, mas não oferece proteção total e não substitui nem as permissões limitadas nem os testes.

  • Segurança
  • Prompt injection
  • +1
Modelo

segurança dos LLM

A segurança dos LLM abrange todas as medidas que protegem aplicações construídas sobre grandes modelos de linguagem contra utilização abusiva, fuga de dados e comportamentos indesejados. Os riscos típicos incluem prompt injection, divulgação de instruções ou dados confidenciais e agentes com permissões excessivas. A proteção resulta de várias camadas: instruções claras, direitos restritos, verificações de entradas e saídas, firewalls de IA, red teaming e auditorias regulares.

  • segurança
  • modelos de linguagem
  • +1
Modelo

Prompt injection indireta

Numa prompt injection indireta, as instruções manipuladoras não estão na entrada do utilizador, mas escondidas em conteúdos que um sistema de IA processa pelo caminho, como páginas web, e-mails ou documentos. Quando um agente lê esse conteúdo, pode confundir comandos ocultos com tarefas genuínas e, por exemplo, divulgar dados. As salvaguardas incluem tratar o conteúdo externo estritamente como dados, limitar as permissões, filtrar as entradas e exigir aprovação humana para ações críticas.

  • Segurança
  • Prompt injection
  • +1
Modelo