Qu’est-ce que Extraction du prompt système ?
L'extraction du prompt système désigne les tentatives visant à amener un chatbot ou un agent IA à divulguer ses instructions système cachées. Si elle aboutit, on parle de prompt leaking : l'extraction est l'attaque, la fuite en est la conséquence. Une protection efficace consiste d'abord à ne placer ni mots de passe, ni clés, ni règles confidentielles dans les instructions et à partir du principe qu'elles peuvent devenir publiques ; contrôles des entrées et tests réguliers complètent le dispositif.
Ce que fait KI.ordo
Le modèle KI.ordo « Audit de sécurité du chatbot » examine les instructions d'un agent, notamment le risque de divulgation des instructions système, et propose des questions d'autotest inoffensives.
En savoir plus →: Extraction du prompt système