SK
Prihlásiť saZačať
Slovník pojmov

Nepriama prompt injection

Čo je Nepriama prompt injection?

Pri nepriamej prompt injection nie sú manipulatívne pokyny vo vstupe používateľa, ale skryté v obsahu, ktorý systém AI popri tom spracúva, napríklad na webových stránkach, v e-mailoch alebo dokumentoch. Keď agent takýto obsah prečíta, môže skryté príkazy pokladať za skutočné úlohy a napríklad prezradiť údaje. Ochrana zahŕňa striktné zaobchádzanie s externým obsahom ako s údajmi, obmedzenie oprávnení, kontrolu vstupov a vyžadovanie ľudského schválenia pri kritických akciách.

Ako pomáha KI.ordo

KI.ordo ponúka hotovú šablónu AI firewall, ktorú možno umiestniť pred agenta ako dodatočnú kontrolnú vrstvu, napríklad keď obsah prichádza cez nástroj na čítanie webových stránok.

Zistiť viac : Nepriama prompt injection

Vhodné šablóny

Témy

  • Bezpečnosť
  • prompt injection
  • agenti

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo
← Všetky pojmy

Súvisiace pojmy

AI firewall

AI firewall je ochranná vrstva medzi používateľmi, zdrojmi údajov a modelom AI. Kontroluje vstupy z hľadiska pokusov o manipuláciu, ako sú prompt injection alebo jailbreaky, a pred odovzdaním ďalej kontroluje výstupy, napríklad na dôverné údaje alebo nežiaduci obsah. Môže používať pravidlá, klasifikačné modely alebo druhý jazykový model. AI firewall znižuje riziko, ale neposkytuje úplnú ochranu a nenahrádza obmedzené oprávnenia ani testovanie.

  • Bezpečnosť
  • prompt injection
  • +1
Šablóna

Jailbreaking

Jailbreaking označuje pokusy obísť bezpečnostné pravidlá modelu AI šikovne formulovanými vstupmi tak, aby vytvoril obsah alebo vykonal akcie, ktoré má odmietnuť. Pre organizácie je to riziko, pretože chatbot by mohol napríklad prezradiť dôverné pokyny alebo reagovať nevhodne. Ochranné opatrenia zahŕňajú jasné systémové pokyny, kontrolu vstupov a výstupov, obmedzené oprávnenia, protokolovanie a pravidelné bezpečnostné testy (red teaming).

  • Bezpečnosť
  • prevencia zneužitia
  • +1
Šablóna

Bezpečnosť LLM

Bezpečnosť LLM zahŕňa všetky opatrenia, ktoré chránia aplikácie postavené na veľkých jazykových modeloch pred zneužitím, únikom údajov a nežiaducim správaním. Typické riziká zahŕňajú prompt injection, prezradenie dôverných pokynov alebo údajov a agentov s nadmernými oprávneniami. Ochranu zabezpečuje viacero vrstiev: jasné pokyny, obmedzené práva, kontroly vstupov a výstupov, AI firewally, red teaming a pravidelné audity.

  • bezpečnosť
  • jazykové modely
  • +1
Šablóna

OWASP LLM Top 10

OWASP Top 10 pre aplikácie s LLM je zoznam najdôležitejších bezpečnostných rizík v aplikáciách postavených na veľkých jazykových modeloch, ktorý zverejňuje projekt OWASP GenAI Security Project. Aktuálne vydanie 2026 vyšlo v auguste 2026 (stav k októbru 2026) a zahŕňa: prompt injection, zverejnenie citlivých informácií, nadmernú autonómiu (excessive agency), dodávateľský reťazec, otrávenie dát a modelov, neobmedzenú spotrebu, dezinformácie, odhalenie skrytého kontextu, slabiny vektorov a embeddingov a nesprávne spracovanie výstupov. Slúži ako kontrolný zoznam pre vývoj a audity.

  • bezpečnosť
  • štandard
  • +1
Šablóna