PT
Iniciar sessãoComeçar agora
Glossário

Jailbreaking

O que é Jailbreaking?

Jailbreaking designa tentativas de contornar as regras de segurança de um modelo de IA através de entradas habilmente formuladas, para que produza conteúdos ou execute ações que deveria recusar. Para as organizações, é um risco, porque um chatbot poderia, por exemplo, revelar instruções confidenciais ou responder de forma inadequada. As medidas de proteção incluem instruções de sistema claras, filtragem de entradas e saídas, permissões limitadas, registos e testes de segurança regulares (red teaming).

Como o KI.ordo ajuda

Os modelos prontos do KI.ordo para uma firewall de IA e uma auditoria de segurança de chatbots ajudam a detetar entradas suspeitas e a verificar as instruções dos seus próprios agentes quanto a vulnerabilidades.

Saber mais : Jailbreaking

Modelos correspondentes

Temas

  • Segurança
  • Prevenção de abusos
  • LLM

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração
← Todos os termos

Termos relacionados

Prompt injection indireta

Numa prompt injection indireta, as instruções manipuladoras não estão na entrada do utilizador, mas escondidas em conteúdos que um sistema de IA processa pelo caminho, como páginas web, e-mails ou documentos. Quando um agente lê esse conteúdo, pode confundir comandos ocultos com tarefas genuínas e, por exemplo, divulgar dados. As salvaguardas incluem tratar o conteúdo externo estritamente como dados, limitar as permissões, filtrar as entradas e exigir aprovação humana para ações críticas.

  • Segurança
  • Prompt injection
  • +1
Modelo

Firewall de IA

Uma firewall de IA é uma camada de proteção entre os utilizadores, as fontes de dados e um modelo de IA. Filtra as entradas para detetar tentativas de manipulação, como prompt injection ou jailbreaks, e verifica as saídas, por exemplo quanto a dados confidenciais ou conteúdos indesejados, antes de as transmitir. Pode usar regras, modelos de classificação ou um segundo modelo de linguagem. Uma firewall de IA reduz o risco, mas não oferece proteção total e não substitui nem as permissões limitadas nem os testes.

  • Segurança
  • Prompt injection
  • +1
Modelo

Red teaming de IA

O red teaming de IA é a análise estruturada de um sistema de IA na perspetiva de potenciais atacantes ou de utilização abusiva. Especialistas testam de forma controlada se um chatbot revela instruções confidenciais, pode ser levado a comportamentos indesejados, fornece factos falsos ou expõe dados. As conclusões servem para melhorar instruções, filtros e permissões. Uma auditoria de segurança de chatbot é uma forma mais ligeira: avalia a configuração e conversas de exemplo face a áreas de risco conhecidas, como as do OWASP Top 10 para aplicações LLM.

  • Segurança da IA
  • Testes de segurança
  • +1
Modelo

Extração do prompt de sistema

A extração do prompt de sistema designa as tentativas de levar um chatbot ou agente de IA a revelar as suas instruções de sistema ocultas. Se essa tentativa tiver êxito, o resultado chama-se fuga de prompt: a extração é o ataque, a fuga é a consequência. Uma proteção eficaz começa por manter palavras-passe, chaves e regras confidenciais fora das instruções e por partir do princípio de que podem tornar-se públicas; verificações das entradas e testes regulares acrescentam outras salvaguardas.

  • Segurança
  • Fuga de prompt
  • +1
Modelo