FR
Se connecterCommencer
Glossaire

Manipulation de la fenêtre de contexte

Qu’est-ce que Manipulation de la fenêtre de contexte ?

La manipulation de la fenêtre de contexte désigne des attaques qui influencent délibérément le texte qu'un modèle de langage traite en une fois : instructions cachées dans des documents, faux échanges antérieurs ou grandes quantités de contenu de remplissage qui relèguent les règles d'origine au second plan. Pour vous protéger : séparer clairement les instructions de confiance des contenus externes, limiter la longueur, contrôler les entrées et accorder aux agents le moins de droits possible.

Ce que fait KI.ordo

Le modèle KI.ordo « Pare-feu IA : vérifier l'entrée » peut être placé comme sous-flux devant un agent afin d'écarter au préalable les entrées suspectes.

En savoir plus →: Manipulation de la fenêtre de contexte

Modèles adaptés

Thèmes

  • Sécurité
  • Injection de prompt
  • LLM

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo
← Tous les termes

Termes associés

Injection de prompt indirecte

Dans une injection de prompt indirecte, les instructions malveillantes ne figurent pas dans la saisie de l'utilisateur, mais dans des contenus que le système d'IA traite en chemin : pages web, e-mails ou documents. En les lisant, un agent peut prendre des commandes cachées pour de véritables consignes et, par exemple, divulguer des données. Parmi les protections : traiter strictement les contenus externes comme des données, limiter les droits, filtrer les entrées et faire valider les actions critiques par un humain.

  • Sécurité
  • Injection de prompt
  • +1
Modèle

Pare-feu IA

Un pare-feu IA est une couche de protection placée entre les utilisateurs, les sources de données et un modèle d'IA. Il examine les entrées à la recherche de tentatives de manipulation comme l'injection de prompt ou le jailbreak, et contrôle les sorties, par exemple pour des données confidentielles ou des contenus indésirables, avant de les transmettre. Il peut s'appuyer sur des règles, des modèles de classification ou un second modèle de langage. Il réduit les risques sans offrir une protection totale ni remplacer des droits limités et des tests.

  • Sécurité
  • Injection de prompt
  • +1
Modèle

Token smuggling

Le token smuggling est une forme de jailbreaking dans laquelle des instructions indésirables sont maquillées, par exemple fragmentées, réencodées ou écrites avec des caractères visuellement proches, afin d'échapper aux filtres par mots-clés tout en restant comprises par le modèle de langage. Pour vous protéger : normaliser les entrées avant analyse, privilégier des contrôles fondés sur le sens plutôt que sur les mots, vérifier les sorties et limiter au strict nécessaire les droits des agents IA.

  • Sécurité
  • Jailbreaking
  • +1
Modèle

Jailbreaking (contournement)

Le jailbreaking désigne les tentatives de contourner les règles de sécurité d'un modèle d'IA à l'aide de saisies habilement formulées, afin qu'il produise des contenus ou effectue des actions qu'il devrait refuser. Pour une entreprise, c'est un risque : un chatbot pourrait par exemple divulguer des instructions confidentielles ou répondre de façon inappropriée. Les protections incluent des instructions système claires, le filtrage des entrées et sorties, des droits limités, la journalisation et des tests de sécurité réguliers (red teaming).

  • Sécurité
  • Prévention des abus
  • +1
Modèle