FR
Se connecterCommencer
Glossaire

Token smuggling

Qu’est-ce que Token smuggling ?

Le token smuggling est une forme de jailbreaking dans laquelle des instructions indésirables sont maquillées, par exemple fragmentées, réencodées ou écrites avec des caractères visuellement proches, afin d'échapper aux filtres par mots-clés tout en restant comprises par le modèle de langage. Pour vous protéger : normaliser les entrées avant analyse, privilégier des contrôles fondés sur le sens plutôt que sur les mots, vérifier les sorties et limiter au strict nécessaire les droits des agents IA.

Ce que fait KI.ordo

Le modèle KI.ordo « Pare-feu IA : vérifier l'entrée » fait évaluer le contenu des entrées suspectes avant qu'elles n'atteignent un agent et les bloque si nécessaire.

En savoir plus →: Token smuggling

Modèles adaptés

Thèmes

  • Sécurité
  • Jailbreaking
  • LLM

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo
← Tous les termes

Termes associés

Jailbreaking (contournement)

Le jailbreaking désigne les tentatives de contourner les règles de sécurité d'un modèle d'IA à l'aide de saisies habilement formulées, afin qu'il produise des contenus ou effectue des actions qu'il devrait refuser. Pour une entreprise, c'est un risque : un chatbot pourrait par exemple divulguer des instructions confidentielles ou répondre de façon inappropriée. Les protections incluent des instructions système claires, le filtrage des entrées et sorties, des droits limités, la journalisation et des tests de sécurité réguliers (red teaming).

  • Sécurité
  • Prévention des abus
  • +1
Modèle

Pare-feu IA

Un pare-feu IA est une couche de protection placée entre les utilisateurs, les sources de données et un modèle d'IA. Il examine les entrées à la recherche de tentatives de manipulation comme l'injection de prompt ou le jailbreak, et contrôle les sorties, par exemple pour des données confidentielles ou des contenus indésirables, avant de les transmettre. Il peut s'appuyer sur des règles, des modèles de classification ou un second modèle de langage. Il réduit les risques sans offrir une protection totale ni remplacer des droits limités et des tests.

  • Sécurité
  • Injection de prompt
  • +1
Modèle

Sécurité des LLM

La sécurité des LLM regroupe les mesures qui protègent les applications fondées sur de grands modèles de langage contre les abus, les fuites de données et les comportements indésirables. Les risques typiques sont l’injection de prompt, la divulgation d’instructions ou de données confidentielles et des agents dotés de droits trop étendus. La protection repose sur plusieurs niveaux : instructions claires, droits limités, contrôle des entrées et sorties, pare-feu IA, red teaming et audits réguliers.

  • sécurité
  • modèles de langage
  • +1
Modèle

Injection de prompt indirecte

Dans une injection de prompt indirecte, les instructions malveillantes ne figurent pas dans la saisie de l'utilisateur, mais dans des contenus que le système d'IA traite en chemin : pages web, e-mails ou documents. En les lisant, un agent peut prendre des commandes cachées pour de véritables consignes et, par exemple, divulguer des données. Parmi les protections : traiter strictement les contenus externes comme des données, limiter les droits, filtrer les entrées et faire valider les actions critiques par un humain.

  • Sécurité
  • Injection de prompt
  • +1
Modèle