SK
Prihlásiť saZačať
Slovník pojmov

Prompt leaking

Čo je Prompt leaking?

Prompt leaking označuje neúmyselné prezradenie interných pokynov systému AI, napríklad keď chatbot na šikovne formulovanú požiadavku vyzradí svoj systémový prompt. Problémom sa to stáva, ak tieto pokyny obsahujú obchodnú logiku, interné informácie alebo dokonca prístupové údaje. Zoznam OWASP pre aplikácie s LLM toto riziko výslovne uvádza. Najúčinnejšou ochranou je písať pokyny tak, akoby sa mohli stať verejnými, nikdy do nich neukladať tajomstvá a kontrolovať aj výstupy.

Ako pomáha KI.ordo

Šablóna KI.ordo „Bezpečnostný audit chatbota“ pomáha skontrolovať pokyny agenta z hľadiska tohto rizika; heslá a iné tajomstvá by sa do nich nikdy nemali vkladať.

Zistiť viac : Prompt leaking

Vhodné šablóny

Témy

  • Bezpečnosť AI
  • systémový prompt
  • ochrana údajov

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo
← Všetky pojmy

Súvisiace pojmy

Extrakcia systémového promptu

Extrakcia systémového promptu označuje pokusy prinútiť chatbot alebo AI agenta, aby prezradil svoje skryté systémové pokyny. Ak sa takýto pokus podarí, výsledok sa nazýva prompt leaking: extrakcia je útok, únik je následok. Účinná ochrana začína tým, že heslá, kľúče a dôverné pravidlá do pokynov nepatria a treba rátať s tým, že sa môžu stať verejnými; ďalšiu ochranu dopĺňajú kontroly vstupov a pravidelné testovanie.

  • Bezpečnosť
  • Prompt leaking
  • +1
Šablóna

AI firewall

AI firewall je ochranná vrstva medzi používateľmi, zdrojmi údajov a modelom AI. Kontroluje vstupy z hľadiska pokusov o manipuláciu, ako sú prompt injection alebo jailbreaky, a pred odovzdaním ďalej kontroluje výstupy, napríklad na dôverné údaje alebo nežiaduci obsah. Môže používať pravidlá, klasifikačné modely alebo druhý jazykový model. AI firewall znižuje riziko, ale neposkytuje úplnú ochranu a nenahrádza obmedzené oprávnenia ani testovanie.

  • Bezpečnosť
  • prompt injection
  • +1
Šablóna

OWASP LLM Top 10

OWASP Top 10 pre aplikácie s LLM je zoznam najdôležitejších bezpečnostných rizík v aplikáciách postavených na veľkých jazykových modeloch, ktorý zverejňuje projekt OWASP GenAI Security Project. Aktuálne vydanie 2026 vyšlo v auguste 2026 (stav k októbru 2026) a zahŕňa: prompt injection, zverejnenie citlivých informácií, nadmernú autonómiu (excessive agency), dodávateľský reťazec, otrávenie dát a modelov, neobmedzenú spotrebu, dezinformácie, odhalenie skrytého kontextu, slabiny vektorov a embeddingov a nesprávne spracovanie výstupov. Slúži ako kontrolný zoznam pre vývoj a audity.

  • bezpečnosť
  • štandard
  • +1
Šablóna

Bezpečnostný audit chatbota

Bezpečnostný audit chatbota je štruktúrované preverenie, či AI chatbot dostatočne chráni dôverné údaje, svoje interné pokyny a svoje oprávnenia konať. Skúma sa okrem iného náchylnosť na prompt injection, neúmyselné prezradenie informácií a príliš široký prístup k nástrojom – často podľa OWASP Top 10 pre aplikácie LLM. Výsledkom je správa s hodnotením každej rizikovej oblasti a konkrétnymi opatreniami.

  • bezpečnosť
  • audit
  • +1
Šablóna