CS
Přihlásit seZačít
Glosář

Manipulace s kontextovým oknem

Co je Manipulace s kontextovým oknem?

Manipulace s kontextovým oknem označuje útoky, které záměrně ovlivňují text, jejž jazykový model zpracovává najednou, například skrytými pokyny v dokumentech, vymyšlenými dřívějšími částmi konverzace nebo velkým množstvím vycpávkového textu, které odsune původní pravidla do pozadí. Ochranou je jasné oddělení důvěryhodných pokynů od externího obsahu, limity délky, kontrola vstupů a přidělování agentům co nejmenšího počtu oprávnění.

Jak pomáhá KI.ordo

Šablonu KI.ordo „AI firewall: zkontrolovat vstup“ lze agentovi předřadit jako dílčí postup, aby předem odfiltrovala podezřelé vstupy.

Zjistit více : Manipulace s kontextovým oknem

Vhodné šablony

Témata

  • Bezpečnost
  • prompt injection
  • LLM

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo
← Všechny pojmy

Související pojmy

Nepřímá prompt injection

Při nepřímé prompt injection nejsou manipulativní pokyny ve vstupu uživatele, ale ukryté v obsahu, který systém AI mimochodem zpracovává, například na webových stránkách, v e-mailech nebo dokumentech. Když agent takový obsah čte, může skryté příkazy považovat za skutečné úkoly a například vyzradit data. Ochranou je důsledné zacházení s externím obsahem jako s daty, omezená oprávnění, kontrola vstupů a vyžadování lidského schválení u kritických akcí.

  • Bezpečnost
  • prompt injection
  • +1
Šablona

AI firewall

AI firewall je ochranná vrstva mezi uživateli, zdroji dat a modelem AI. Kontroluje vstupy z hlediska pokusů o manipulaci, například prompt injection nebo jailbreaků, a před předáním dál prověřuje výstupy, například na důvěrná data nebo nežádoucí obsah. Může používat pravidla, klasifikační modely nebo druhý jazykový model. AI firewall snižuje riziko, ale nenabízí úplnou ochranu a nenahrazuje omezená oprávnění ani testování.

  • Bezpečnost
  • prompt injection
  • +1
Šablona

Token Smuggling

Token smuggling je forma jailbreaku, při níž se nežádoucí pokyny maskují, například rozdělením na fragmenty, překódováním nebo zápisem podobně vypadajícími znaky, aby je jednoduché filtry klíčových slov přehlédly, zatímco jazykový model jejich význam přesto pochopí. Ochrana zahrnuje normalizaci vstupů před jejich posouzením, kontroly podle obsahu místo čistě podle slov, kontrolu výstupů a udělování AI agentům co nejmenšího počtu oprávnění.

  • Bezpečnost
  • Jailbreaking
  • +1
Šablona

Jailbreaking

Jailbreaking označuje pokusy obejít bezpečnostní pravidla modelu AI důmyslně formulovanými vstupy, aby vytvořil obsah nebo provedl akce, které má odmítnout. Pro organizace je to riziko, protože chatbot by mohl například prozradit důvěrné pokyny nebo odpovědět nevhodně. Ochrannými opatřeními jsou jasné systémové pokyny, kontrola vstupů a výstupů, omezená oprávnění, protokolování a pravidelné bezpečnostní testy (red teaming).

  • Bezpečnost
  • prevence zneužití
  • +1
Šablona