Co je Nepřímá prompt injection?
Při nepřímé prompt injection nejsou manipulativní pokyny ve vstupu uživatele, ale ukryté v obsahu, který systém AI mimochodem zpracovává, například na webových stránkách, v e-mailech nebo dokumentech. Když agent takový obsah čte, může skryté příkazy považovat za skutečné úkoly a například vyzradit data. Ochranou je důsledné zacházení s externím obsahem jako s daty, omezená oprávnění, kontrola vstupů a vyžadování lidského schválení u kritických akcí.
Jak pomáhá KI.ordo
KI.ordo nabízí hotovou šablonu AI firewallu, kterou lze agentovi předřadit jako další kontrolní vrstvu, například když obsah přichází přes nástroj pro čtení webových stránek.
Zjistit více : Nepřímá prompt injection