SK
Prihlásiť saZačať
Slovník pojmov

Bezpečnosť LLM

Čo je Bezpečnosť LLM?

Bezpečnosť LLM zahŕňa všetky opatrenia, ktoré chránia aplikácie postavené na veľkých jazykových modeloch pred zneužitím, únikom údajov a nežiaducim správaním. Typické riziká zahŕňajú prompt injection, prezradenie dôverných pokynov alebo údajov a agentov s nadmernými oprávneniami. Ochranu zabezpečuje viacero vrstiev: jasné pokyny, obmedzené práva, kontroly vstupov a výstupov, AI firewally, red teaming a pravidelné audity.

Ako pomáha KI.ordo

V KI.ordo roly od čitateľa po vlastníka určujú, kto môže meniť agentov a znalosti, denník zmien zachováva dohľadateľnosť úprav a šablóna bezpečnostného auditu chatbota podporuje kontroly.

Zistiť viac : Bezpečnosť LLM

Vhodné šablóny

Témy

  • bezpečnosť
  • jazykové modely
  • riadenie rizík

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo
← Všetky pojmy

Súvisiace pojmy

AI firewall

AI firewall je ochranná vrstva medzi používateľmi, zdrojmi údajov a modelom AI. Kontroluje vstupy z hľadiska pokusov o manipuláciu, ako sú prompt injection alebo jailbreaky, a pred odovzdaním ďalej kontroluje výstupy, napríklad na dôverné údaje alebo nežiaduci obsah. Môže používať pravidlá, klasifikačné modely alebo druhý jazykový model. AI firewall znižuje riziko, ale neposkytuje úplnú ochranu a nenahrádza obmedzené oprávnenia ani testovanie.

  • Bezpečnosť
  • prompt injection
  • +1
Šablóna

AI red teaming

AI red teaming je štruktúrované preverovanie AI systému z pohľadu potenciálnych útočníkov alebo zneužitia. Špecialisti kontrolovane testujú, či chatbot neprezradí dôverné pokyny, či ho nemožno priviesť k nežiaducemu správaniu, či neuvádza nepravdivé fakty alebo nesprístupní údaje. Zistenia sa premietajú do lepších pokynov, filtrov a oprávnení. Bezpečnostný audit chatbota je jeho ľahšia forma: posudzuje konfiguráciu a vzorové konverzácie podľa známych rizikových oblastí, ako je OWASP Top 10 pre aplikácie LLM.

  • Bezpečnosť AI
  • Bezpečnostné testovanie
  • +1
Šablóna

Nepriama prompt injection

Pri nepriamej prompt injection nie sú manipulatívne pokyny vo vstupe používateľa, ale skryté v obsahu, ktorý systém AI popri tom spracúva, napríklad na webových stránkach, v e-mailoch alebo dokumentoch. Keď agent takýto obsah prečíta, môže skryté príkazy pokladať za skutočné úlohy a napríklad prezradiť údaje. Ochrana zahŕňa striktné zaobchádzanie s externým obsahom ako s údajmi, obmedzenie oprávnení, kontrolu vstupov a vyžadovanie ľudského schválenia pri kritických akciách.

  • Bezpečnosť
  • prompt injection
  • +1
Šablóna

OWASP LLM Top 10

OWASP Top 10 pre aplikácie s LLM je zoznam najdôležitejších bezpečnostných rizík v aplikáciách postavených na veľkých jazykových modeloch, ktorý zverejňuje projekt OWASP GenAI Security Project. Aktuálne vydanie 2026 vyšlo v auguste 2026 (stav k októbru 2026) a zahŕňa: prompt injection, zverejnenie citlivých informácií, nadmernú autonómiu (excessive agency), dodávateľský reťazec, otrávenie dát a modelov, neobmedzenú spotrebu, dezinformácie, odhalenie skrytého kontextu, slabiny vektorov a embeddingov a nesprávne spracovanie výstupov. Slúži ako kontrolný zoznam pre vývoj a audity.

  • bezpečnosť
  • štandard
  • +1
Šablóna