FR
Se connecterCommencer
Glossaire

Jailbreaking (contournement)

Qu’est-ce que Jailbreaking (contournement) ?

Le jailbreaking désigne les tentatives de contourner les règles de sécurité d'un modèle d'IA à l'aide de saisies habilement formulées, afin qu'il produise des contenus ou effectue des actions qu'il devrait refuser. Pour une entreprise, c'est un risque : un chatbot pourrait par exemple divulguer des instructions confidentielles ou répondre de façon inappropriée. Les protections incluent des instructions système claires, le filtrage des entrées et sorties, des droits limités, la journalisation et des tests de sécurité réguliers (red teaming).

Ce que fait KI.ordo

Les modèles KI.ordo de pare-feu IA et d'audit de sécurité de chatbot vous aident à repérer les saisies suspectes et à vérifier les instructions de vos propres agents.

En savoir plus →: Jailbreaking (contournement)

Modèles adaptés

Thèmes

  • Sécurité
  • Prévention des abus
  • LLM

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo
← Tous les termes

Termes associés

Injection de prompt indirecte

Dans une injection de prompt indirecte, les instructions malveillantes ne figurent pas dans la saisie de l'utilisateur, mais dans des contenus que le système d'IA traite en chemin : pages web, e-mails ou documents. En les lisant, un agent peut prendre des commandes cachées pour de véritables consignes et, par exemple, divulguer des données. Parmi les protections : traiter strictement les contenus externes comme des données, limiter les droits, filtrer les entrées et faire valider les actions critiques par un humain.

  • Sécurité
  • Injection de prompt
  • +1
Modèle

Pare-feu IA

Un pare-feu IA est une couche de protection placée entre les utilisateurs, les sources de données et un modèle d'IA. Il examine les entrées à la recherche de tentatives de manipulation comme l'injection de prompt ou le jailbreak, et contrôle les sorties, par exemple pour des données confidentielles ou des contenus indésirables, avant de les transmettre. Il peut s'appuyer sur des règles, des modèles de classification ou un second modèle de langage. Il réduit les risques sans offrir une protection totale ni remplacer des droits limités et des tests.

  • Sécurité
  • Injection de prompt
  • +1
Modèle

Red teaming de l'IA

Le red teaming de l'IA est l'examen structuré d'un système d'IA du point de vue d'attaquants ou d'utilisations abusives. Des spécialistes vérifient de manière contrôlée si un chatbot divulgue des instructions confidentielles, adopte des comportements indésirables, fournit des faits erronés ou expose des données ; les résultats améliorent instructions, filtres et autorisations. Un audit de sécurité de chatbot en est une forme allégée, fondée sur des zones de risque connues comme le Top 10 OWASP pour les applications LLM.

  • Sécurité de l'IA
  • Test de sécurité
  • +1
Modèle

Extraction du prompt système

L'extraction du prompt système désigne les tentatives visant à amener un chatbot ou un agent IA à divulguer ses instructions système cachées. Si elle aboutit, on parle de prompt leaking : l'extraction est l'attaque, la fuite en est la conséquence. Une protection efficace consiste d'abord à ne placer ni mots de passe, ni clés, ni règles confidentielles dans les instructions et à partir du principe qu'elles peuvent devenir publiques ; contrôles des entrées et tests réguliers complètent le dispositif.

  • Sécurité
  • Prompt leaking
  • +1
Modèle