SK
Prihlásiť saZačať
Slovník pojmov

AI red teaming

Čo je AI red teaming?

AI red teaming je štruktúrované preverovanie AI systému z pohľadu potenciálnych útočníkov alebo zneužitia. Špecialisti kontrolovane testujú, či chatbot neprezradí dôverné pokyny, či ho nemožno priviesť k nežiaducemu správaniu, či neuvádza nepravdivé fakty alebo nesprístupní údaje. Zistenia sa premietajú do lepších pokynov, filtrov a oprávnení. Bezpečnostný audit chatbota je jeho ľahšia forma: posudzuje konfiguráciu a vzorové konverzácie podľa známych rizikových oblastí, ako je OWASP Top 10 pre aplikácie LLM.

Ako pomáha KI.ordo

Šablóna KI.ordo „Bezpečnostný audit chatbota“ posudzuje pokyny a vzorové konverzácie podľa rizikových oblastí OWASP a navrhuje neškodné otázky na samotestovanie; nenahrádza komplexný red teaming vykonaný špecialistami.

Zistiť viac : AI red teaming

Vhodné šablóny

Témy

  • Bezpečnosť AI
  • Bezpečnostné testovanie
  • Chatbot

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo
← Všetky pojmy

Súvisiace pojmy

Bezpečnostný audit chatbota

Bezpečnostný audit chatbota je štruktúrované preverenie, či AI chatbot dostatočne chráni dôverné údaje, svoje interné pokyny a svoje oprávnenia konať. Skúma sa okrem iného náchylnosť na prompt injection, neúmyselné prezradenie informácií a príliš široký prístup k nástrojom – často podľa OWASP Top 10 pre aplikácie LLM. Výsledkom je správa s hodnotením každej rizikovej oblasti a konkrétnymi opatreniami.

  • bezpečnosť
  • audit
  • +1
Šablóna

OWASP LLM Top 10

OWASP Top 10 pre aplikácie s LLM je zoznam najdôležitejších bezpečnostných rizík v aplikáciách postavených na veľkých jazykových modeloch, ktorý zverejňuje projekt OWASP GenAI Security Project. Aktuálne vydanie 2026 vyšlo v auguste 2026 (stav k októbru 2026) a zahŕňa: prompt injection, zverejnenie citlivých informácií, nadmernú autonómiu (excessive agency), dodávateľský reťazec, otrávenie dát a modelov, neobmedzenú spotrebu, dezinformácie, odhalenie skrytého kontextu, slabiny vektorov a embeddingov a nesprávne spracovanie výstupov. Slúži ako kontrolný zoznam pre vývoj a audity.

  • bezpečnosť
  • štandard
  • +1
Šablóna

Penetračné testovanie AI

Penetračný test AI je objednané, kontrolované bezpečnostné posúdenie, pri ktorom odborníci zámerne skúmajú systém AI na slabé miesta, ako sú prompt injection, únik dôverných údajov alebo agent s nadmernými oprávneniami. Na rozdiel od širšieho red teamingu sa zameriava na jasne vymedzený rozsah so zdokumentovanými zisteniami a nápravami. Oplatí sa vykonať ho pred spustením chatbota a po väčších zmenách.

  • Bezpečnosť
  • posúdenie
  • +1
Šablóna

Bezpečnosť LLM

Bezpečnosť LLM zahŕňa všetky opatrenia, ktoré chránia aplikácie postavené na veľkých jazykových modeloch pred zneužitím, únikom údajov a nežiaducim správaním. Typické riziká zahŕňajú prompt injection, prezradenie dôverných pokynov alebo údajov a agentov s nadmernými oprávneniami. Ochranu zabezpečuje viacero vrstiev: jasné pokyny, obmedzené práva, kontroly vstupov a výstupov, AI firewally, red teaming a pravidelné audity.

  • bezpečnosť
  • jazykové modely
  • +1
Šablóna