CS
Přihlásit seZačít
Glosář

Jailbreaking

Co je Jailbreaking?

Jailbreaking označuje pokusy obejít bezpečnostní pravidla modelu AI důmyslně formulovanými vstupy, aby vytvořil obsah nebo provedl akce, které má odmítnout. Pro organizace je to riziko, protože chatbot by mohl například prozradit důvěrné pokyny nebo odpovědět nevhodně. Ochrannými opatřeními jsou jasné systémové pokyny, kontrola vstupů a výstupů, omezená oprávnění, protokolování a pravidelné bezpečnostní testy (red teaming).

Jak pomáhá KI.ordo

Hotové šablony KI.ordo pro AI firewall a bezpečnostní audit chatbota pomáhají rozpoznat podezřelé vstupy a zkontrolovat pokyny vašich agentů z hlediska slabin.

Zjistit více : Jailbreaking

Vhodné šablony

Témata

  • Bezpečnost
  • prevence zneužití
  • LLM

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo
← Všechny pojmy

Související pojmy

Nepřímá prompt injection

Při nepřímé prompt injection nejsou manipulativní pokyny ve vstupu uživatele, ale ukryté v obsahu, který systém AI mimochodem zpracovává, například na webových stránkách, v e-mailech nebo dokumentech. Když agent takový obsah čte, může skryté příkazy považovat za skutečné úkoly a například vyzradit data. Ochranou je důsledné zacházení s externím obsahem jako s daty, omezená oprávnění, kontrola vstupů a vyžadování lidského schválení u kritických akcí.

  • Bezpečnost
  • prompt injection
  • +1
Šablona

AI firewall

AI firewall je ochranná vrstva mezi uživateli, zdroji dat a modelem AI. Kontroluje vstupy z hlediska pokusů o manipulaci, například prompt injection nebo jailbreaků, a před předáním dál prověřuje výstupy, například na důvěrná data nebo nežádoucí obsah. Může používat pravidla, klasifikační modely nebo druhý jazykový model. AI firewall snižuje riziko, ale nenabízí úplnou ochranu a nenahrazuje omezená oprávnění ani testování.

  • Bezpečnost
  • prompt injection
  • +1
Šablona

AI red teaming

AI red teaming je strukturované prověřování AI systému z pohledu potenciálních útočníků nebo zneužití. Specialisté kontrolovaně testují, zda chatbot neprozradí důvěrné pokyny, zda ho nelze přimět k nežádoucímu chování, zda neuvádí nepravdivá fakta nebo neodhaluje data. Zjištění pak slouží ke zlepšení pokynů, filtrů a oprávnění. Bezpečnostní audit chatbota je jeho lehčí formou: posuzuje konfiguraci a ukázkové konverzace podle známých rizikových oblastí, jako je OWASP Top 10 pro aplikace LLM.

  • Bezpečnost AI
  • Bezpečnostní testování
  • +1
Šablona

Extrakce systémového promptu

Extrakce systémového promptu označuje pokusy přimět chatbota nebo AI agenta, aby prozradil své skryté systémové pokyny. Pokud se takový pokus podaří, výsledek se nazývá únik promptu: extrakce je útok, únik je jeho důsledek. Účinná ochrana začíná tím, že hesla, klíče a důvěrná pravidla do pokynů nepatří a počítá se s tím, že se mohou stát veřejnými; další jištění přidávají kontroly vstupů a pravidelné testování.

  • Bezpečnost
  • Únik promptu (prompt leaking)
  • +1
Šablona