SK
Prihlásiť saZačať
Slovník pojmov

Jailbreaking

Čo je Jailbreaking?

Jailbreaking označuje pokusy obísť bezpečnostné pravidlá modelu AI šikovne formulovanými vstupmi tak, aby vytvoril obsah alebo vykonal akcie, ktoré má odmietnuť. Pre organizácie je to riziko, pretože chatbot by mohol napríklad prezradiť dôverné pokyny alebo reagovať nevhodne. Ochranné opatrenia zahŕňajú jasné systémové pokyny, kontrolu vstupov a výstupov, obmedzené oprávnenia, protokolovanie a pravidelné bezpečnostné testy (red teaming).

Ako pomáha KI.ordo

Hotové šablóny KI.ordo pre AI firewall a bezpečnostný audit chatbota pomáhajú odhaliť podozrivé vstupy a skontrolovať pokyny vašich agentov z hľadiska slabých miest.

Zistiť viac : Jailbreaking

Vhodné šablóny

Témy

  • Bezpečnosť
  • prevencia zneužitia
  • LLM

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo
← Všetky pojmy

Súvisiace pojmy

Nepriama prompt injection

Pri nepriamej prompt injection nie sú manipulatívne pokyny vo vstupe používateľa, ale skryté v obsahu, ktorý systém AI popri tom spracúva, napríklad na webových stránkach, v e-mailoch alebo dokumentoch. Keď agent takýto obsah prečíta, môže skryté príkazy pokladať za skutočné úlohy a napríklad prezradiť údaje. Ochrana zahŕňa striktné zaobchádzanie s externým obsahom ako s údajmi, obmedzenie oprávnení, kontrolu vstupov a vyžadovanie ľudského schválenia pri kritických akciách.

  • Bezpečnosť
  • prompt injection
  • +1
Šablóna

AI firewall

AI firewall je ochranná vrstva medzi používateľmi, zdrojmi údajov a modelom AI. Kontroluje vstupy z hľadiska pokusov o manipuláciu, ako sú prompt injection alebo jailbreaky, a pred odovzdaním ďalej kontroluje výstupy, napríklad na dôverné údaje alebo nežiaduci obsah. Môže používať pravidlá, klasifikačné modely alebo druhý jazykový model. AI firewall znižuje riziko, ale neposkytuje úplnú ochranu a nenahrádza obmedzené oprávnenia ani testovanie.

  • Bezpečnosť
  • prompt injection
  • +1
Šablóna

AI red teaming

AI red teaming je štruktúrované preverovanie AI systému z pohľadu potenciálnych útočníkov alebo zneužitia. Špecialisti kontrolovane testujú, či chatbot neprezradí dôverné pokyny, či ho nemožno priviesť k nežiaducemu správaniu, či neuvádza nepravdivé fakty alebo nesprístupní údaje. Zistenia sa premietajú do lepších pokynov, filtrov a oprávnení. Bezpečnostný audit chatbota je jeho ľahšia forma: posudzuje konfiguráciu a vzorové konverzácie podľa známych rizikových oblastí, ako je OWASP Top 10 pre aplikácie LLM.

  • Bezpečnosť AI
  • Bezpečnostné testovanie
  • +1
Šablóna

Extrakcia systémového promptu

Extrakcia systémového promptu označuje pokusy prinútiť chatbot alebo AI agenta, aby prezradil svoje skryté systémové pokyny. Ak sa takýto pokus podarí, výsledok sa nazýva prompt leaking: extrakcia je útok, únik je následok. Účinná ochrana začína tým, že heslá, kľúče a dôverné pravidlá do pokynov nepatria a treba rátať s tým, že sa môžu stať verejnými; ďalšiu ochranu dopĺňajú kontroly vstupov a pravidelné testovanie.

  • Bezpečnosť
  • Prompt leaking
  • +1
Šablóna