Glosář

bezpečnost LLM

Co je bezpečnost LLM?

Bezpečnost LLM zahrnuje všechna opatření, která chrání aplikace postavené na velkých jazykových modelech před zneužitím, únikem dat a nežádoucím chováním. Typická rizika zahrnují prompt injection, vyzrazení důvěrných pokynů nebo dat a agenty s nadměrnými oprávněními. Ochrana vychází z několika vrstev: jasné pokyny, omezená práva, kontroly vstupů a výstupů, AI firewally, red teaming a pravidelné audity.

Jak pomáhá KI.ordo

V KI.ordo role od čtenáře po vlastníka určují, kdo smí měnit agenty a znalosti, protokol změn udržuje úpravy dohledatelné a šablona bezpečnostního auditu chatbota podporuje kontroly.

Zjistit více : bezpečnost LLM

Témata

  • bezpečnost
  • jazykové modely
  • řízení rizik

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo
← Všechny pojmy

Související pojmy

AI firewall

AI firewall je ochranná vrstva mezi uživateli, zdroji dat a modelem AI. Kontroluje vstupy z hlediska pokusů o manipulaci, například prompt injection nebo jailbreaků, a před předáním dál prověřuje výstupy, například na důvěrná data nebo nežádoucí obsah. Může používat pravidla, klasifikační modely nebo druhý jazykový model. AI firewall snižuje riziko, ale nenabízí úplnou ochranu a nenahrazuje omezená oprávnění ani testování.

  • Bezpečnost
  • prompt injection
  • +1
Šablona

AI red teaming

AI red teaming je strukturované prověřování AI systému z pohledu potenciálních útočníků nebo zneužití. Specialisté kontrolovaně testují, zda chatbot neprozradí důvěrné pokyny, zda ho nelze přimět k nežádoucímu chování, zda neuvádí nepravdivá fakta nebo neodhaluje data. Zjištění pak slouží ke zlepšení pokynů, filtrů a oprávnění. Bezpečnostní audit chatbota je jeho lehčí formou: posuzuje konfiguraci a ukázkové konverzace podle známých rizikových oblastí, jako je OWASP Top 10 pro aplikace LLM.

  • Bezpečnost AI
  • Bezpečnostní testování
  • +1
Šablona

Nepřímá prompt injection

Při nepřímé prompt injection nejsou manipulativní pokyny ve vstupu uživatele, ale ukryté v obsahu, který systém AI mimochodem zpracovává, například na webových stránkách, v e-mailech nebo dokumentech. Když agent takový obsah čte, může skryté příkazy považovat za skutečné úkoly a například vyzradit data. Ochranou je důsledné zacházení s externím obsahem jako s daty, omezená oprávnění, kontrola vstupů a vyžadování lidského schválení u kritických akcí.

  • Bezpečnost
  • prompt injection
  • +1
Šablona

OWASP LLM Top 10

OWASP Top 10 pro aplikace LLM je seznam nejdůležitějších bezpečnostních rizik u aplikací postavených na velkých jazykových modelech, který publikuje projekt OWASP GenAI Security Project. Aktuální vydání z roku 2026 vyšlo v srpnu 2026 (stav k říjnu 2026) a zahrnuje: prompt injection, únik citlivých informací, nadměrnou autonomii (excessive agency), dodavatelský řetězec, otravu dat a modelů, neomezenou spotřebu, dezinformace, odhalení skrytého kontextu, slabiny vektorů a embeddingů a nesprávné zpracování výstupů. Slouží jako kontrolní seznam pro vývoj a audity.

  • bezpečnost
  • standard
  • +1
Šablona