SK
Prihlásiť saZačať
Slovník pojmov

Extrakcia systémového promptu

Čo je Extrakcia systémového promptu?

Extrakcia systémového promptu označuje pokusy prinútiť chatbot alebo AI agenta, aby prezradil svoje skryté systémové pokyny. Ak sa takýto pokus podarí, výsledok sa nazýva prompt leaking: extrakcia je útok, únik je následok. Účinná ochrana začína tým, že heslá, kľúče a dôverné pravidlá do pokynov nepatria a treba rátať s tým, že sa môžu stať verejnými; ďalšiu ochranu dopĺňajú kontroly vstupov a pravidelné testovanie.

Ako pomáha KI.ordo

Šablóna KI.ordo „Bezpečnostný audit chatbota“ kontroluje pokyny agenta z hľadiska rizík, ako sú prezradené systémové pokyny, a poskytuje neškodné otázky na vlastné testovanie.

Zistiť viac : Extrakcia systémového promptu

Vhodné šablóny

Témy

  • Bezpečnosť
  • Prompt leaking
  • Chatbots

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo
← Všetky pojmy

Súvisiace pojmy

Prompt leaking

Prompt leaking označuje neúmyselné prezradenie interných pokynov systému AI, napríklad keď chatbot na šikovne formulovanú požiadavku vyzradí svoj systémový prompt. Problémom sa to stáva, ak tieto pokyny obsahujú obchodnú logiku, interné informácie alebo dokonca prístupové údaje. Zoznam OWASP pre aplikácie s LLM toto riziko výslovne uvádza. Najúčinnejšou ochranou je písať pokyny tak, akoby sa mohli stať verejnými, nikdy do nich neukladať tajomstvá a kontrolovať aj výstupy.

  • Bezpečnosť AI
  • systémový prompt
  • +1
Šablóna

Jailbreaking

Jailbreaking označuje pokusy obísť bezpečnostné pravidlá modelu AI šikovne formulovanými vstupmi tak, aby vytvoril obsah alebo vykonal akcie, ktoré má odmietnuť. Pre organizácie je to riziko, pretože chatbot by mohol napríklad prezradiť dôverné pokyny alebo reagovať nevhodne. Ochranné opatrenia zahŕňajú jasné systémové pokyny, kontrolu vstupov a výstupov, obmedzené oprávnenia, protokolovanie a pravidelné bezpečnostné testy (red teaming).

  • Bezpečnosť
  • prevencia zneužitia
  • +1
Šablóna

Bezpečnostný audit chatbota

Bezpečnostný audit chatbota je štruktúrované preverenie, či AI chatbot dostatočne chráni dôverné údaje, svoje interné pokyny a svoje oprávnenia konať. Skúma sa okrem iného náchylnosť na prompt injection, neúmyselné prezradenie informácií a príliš široký prístup k nástrojom – často podľa OWASP Top 10 pre aplikácie LLM. Výsledkom je správa s hodnotením každej rizikovej oblasti a konkrétnymi opatreniami.

  • bezpečnosť
  • audit
  • +1
Šablóna

OWASP LLM Top 10

OWASP Top 10 pre aplikácie s LLM je zoznam najdôležitejších bezpečnostných rizík v aplikáciách postavených na veľkých jazykových modeloch, ktorý zverejňuje projekt OWASP GenAI Security Project. Aktuálne vydanie 2026 vyšlo v auguste 2026 (stav k októbru 2026) a zahŕňa: prompt injection, zverejnenie citlivých informácií, nadmernú autonómiu (excessive agency), dodávateľský reťazec, otrávenie dát a modelov, neobmedzenú spotrebu, dezinformácie, odhalenie skrytého kontextu, slabiny vektorov a embeddingov a nesprávne spracovanie výstupov. Slúži ako kontrolný zoznam pre vývoj a audity.

  • bezpečnosť
  • štandard
  • +1
Šablóna