Co je Extrakce systémového promptu?
Extrakce systémového promptu označuje pokusy přimět chatbota nebo AI agenta, aby prozradil své skryté systémové pokyny. Pokud se takový pokus podaří, výsledek se nazývá únik promptu: extrakce je útok, únik je jeho důsledek. Účinná ochrana začíná tím, že hesla, klíče a důvěrná pravidla do pokynů nepatří a počítá se s tím, že se mohou stát veřejnými; další jištění přidávají kontroly vstupů a pravidelné testování.
Jak pomáhá KI.ordo
Šablona KI.ordo „Audit bezpečnosti chatbota“ kontroluje pokyny agenta z hlediska rizik, jako je prozrazení systémových pokynů, a nabízí neškodné otázky pro vlastní test.
Zjistit více : Extrakce systémového promptu