CS
Přihlásit seZačít
Glosář

AI red teaming

Co je AI red teaming?

AI red teaming je strukturované prověřování AI systému z pohledu potenciálních útočníků nebo zneužití. Specialisté kontrolovaně testují, zda chatbot neprozradí důvěrné pokyny, zda ho nelze přimět k nežádoucímu chování, zda neuvádí nepravdivá fakta nebo neodhaluje data. Zjištění pak slouží ke zlepšení pokynů, filtrů a oprávnění. Bezpečnostní audit chatbota je jeho lehčí formou: posuzuje konfiguraci a ukázkové konverzace podle známých rizikových oblastí, jako je OWASP Top 10 pro aplikace LLM.

Jak pomáhá KI.ordo

Šablona KI.ordo „Bezpečnostní audit chatbota“ posoudí pokyny a ukázkové konverzace podle rizikových oblastí OWASP a navrhne neškodné otázky pro vlastní test; nenahrazuje komplexní red teaming provedený specialisty.

Zjistit více : AI red teaming

Vhodné šablony

Témata

  • Bezpečnost AI
  • Bezpečnostní testování
  • Chatbot

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo
← Všechny pojmy

Související pojmy

Bezpečnostní audit chatbota

Bezpečnostní audit chatbota je strukturovaná kontrola toho, zda AI chatbot dostatečně chrání důvěrná data, své interní pokyny a svá oprávnění k jednání. Zkoumá mimo jiné náchylnost k prompt injection, nezamýšlené prozrazení informací a příliš široký přístup k nástrojům – často podle OWASP Top 10 pro aplikace LLM. Výsledkem je zpráva s hodnocením každé rizikové oblasti a konkrétními opatřeními.

  • bezpečnost
  • audit
  • +1
Šablona

OWASP LLM Top 10

OWASP Top 10 pro aplikace LLM je seznam nejdůležitějších bezpečnostních rizik u aplikací postavených na velkých jazykových modelech, který publikuje projekt OWASP GenAI Security Project. Aktuální vydání z roku 2026 vyšlo v srpnu 2026 (stav k říjnu 2026) a zahrnuje: prompt injection, únik citlivých informací, nadměrnou autonomii (excessive agency), dodavatelský řetězec, otravu dat a modelů, neomezenou spotřebu, dezinformace, odhalení skrytého kontextu, slabiny vektorů a embeddingů a nesprávné zpracování výstupů. Slouží jako kontrolní seznam pro vývoj a audity.

  • bezpečnost
  • standard
  • +1
Šablona

Penetrační testování AI

Penetrační test AI je objednané, řízené bezpečnostní posouzení, při němž specialisté záměrně hledají slabiny systému AI, například prompt injection, únik důvěrných dat nebo agenta s nadměrnými oprávněními. Na rozdíl od širšího red teamingu se zaměřuje na jasně vymezený rozsah s dokumentovanými zjištěními a nápravnými opatřeními. Vyplatí se provést před spuštěním chatbota a po zásadních změnách.

  • Bezpečnost
  • posouzení
  • +1
Šablona

bezpečnost LLM

Bezpečnost LLM zahrnuje všechna opatření, která chrání aplikace postavené na velkých jazykových modelech před zneužitím, únikem dat a nežádoucím chováním. Typická rizika zahrnují prompt injection, vyzrazení důvěrných pokynů nebo dat a agenty s nadměrnými oprávněními. Ochrana vychází z několika vrstev: jasné pokyny, omezená práva, kontroly vstupů a výstupů, AI firewally, red teaming a pravidelné audity.

  • bezpečnost
  • jazykové modely
  • +1
Šablona