CS
Přihlásit seZačít
Glosář

AI firewall

Co je AI firewall?

AI firewall je ochranná vrstva mezi uživateli, zdroji dat a modelem AI. Kontroluje vstupy z hlediska pokusů o manipulaci, například prompt injection nebo jailbreaků, a před předáním dál prověřuje výstupy, například na důvěrná data nebo nežádoucí obsah. Může používat pravidla, klasifikační modely nebo druhý jazykový model. AI firewall snižuje riziko, ale nenabízí úplnou ochranu a nenahrazuje omezená oprávnění ani testování.

Jak pomáhá KI.ordo

KI.ordo nabízí hotovou šablonu AI firewallu, která klasifikuje vstupy jako neškodné nebo podezřelé a lze ji agentovi předřadit jako dílčí postup.

Zjistit více : AI firewall

Vhodné šablony

Témata

  • Bezpečnost
  • prompt injection
  • ochranná vrstva

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo
← Všechny pojmy

Související pojmy

Nepřímá prompt injection

Při nepřímé prompt injection nejsou manipulativní pokyny ve vstupu uživatele, ale ukryté v obsahu, který systém AI mimochodem zpracovává, například na webových stránkách, v e-mailech nebo dokumentech. Když agent takový obsah čte, může skryté příkazy považovat za skutečné úkoly a například vyzradit data. Ochranou je důsledné zacházení s externím obsahem jako s daty, omezená oprávnění, kontrola vstupů a vyžadování lidského schválení u kritických akcí.

  • Bezpečnost
  • prompt injection
  • +1
Šablona

Jailbreaking

Jailbreaking označuje pokusy obejít bezpečnostní pravidla modelu AI důmyslně formulovanými vstupy, aby vytvořil obsah nebo provedl akce, které má odmítnout. Pro organizace je to riziko, protože chatbot by mohl například prozradit důvěrné pokyny nebo odpovědět nevhodně. Ochrannými opatřeními jsou jasné systémové pokyny, kontrola vstupů a výstupů, omezená oprávnění, protokolování a pravidelné bezpečnostní testy (red teaming).

  • Bezpečnost
  • prevence zneužití
  • +1
Šablona

bezpečnost LLM

Bezpečnost LLM zahrnuje všechna opatření, která chrání aplikace postavené na velkých jazykových modelech před zneužitím, únikem dat a nežádoucím chováním. Typická rizika zahrnují prompt injection, vyzrazení důvěrných pokynů nebo dat a agenty s nadměrnými oprávněními. Ochrana vychází z několika vrstev: jasné pokyny, omezená práva, kontroly vstupů a výstupů, AI firewally, red teaming a pravidelné audity.

  • bezpečnost
  • jazykové modely
  • +1
Šablona

OWASP LLM Top 10

OWASP Top 10 pro aplikace LLM je seznam nejdůležitějších bezpečnostních rizik u aplikací postavených na velkých jazykových modelech, který publikuje projekt OWASP GenAI Security Project. Aktuální vydání z roku 2026 vyšlo v srpnu 2026 (stav k říjnu 2026) a zahrnuje: prompt injection, únik citlivých informací, nadměrnou autonomii (excessive agency), dodavatelský řetězec, otravu dat a modelů, neomezenou spotřebu, dezinformace, odhalení skrytého kontextu, slabiny vektorů a embeddingů a nesprávné zpracování výstupů. Slouží jako kontrolní seznam pro vývoj a audity.

  • bezpečnost
  • standard
  • +1
Šablona