SK
Prihlásiť saZačať
Slovník pojmov

Token Smuggling

Čo je Token Smuggling?

Token smuggling je forma jailbreakingu, pri ktorej sa nežiaduce pokyny maskujú, napríklad rozdelením na fragmenty, prekódovaním alebo zápisom podobne vyzerajúcimi znakmi, takže jednoduché filtre kľúčových slov ich prehliadnu, no jazykový model ich význam napriek tomu pochopí. Ochrana zahŕňa normalizáciu vstupov pred ich posúdením, kontroly založené na obsahu, a nie čisto na slovách, kontrolu výstupov a udeľovanie čo najmenšieho počtu oprávnení agentom AI.

Ako pomáha KI.ordo

Šablóna KI.ordo „Firewall AI: skontrolovať vstup“ nechá podozrivé vstupy posúdiť podľa ich obsahu skôr, než sa dostanú k agentovi, a v prípade potreby ich zablokuje.

Zistiť viac : Token Smuggling

Vhodné šablóny

Témy

  • Bezpečnosť
  • Jailbreaking
  • LLM

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo
← Všetky pojmy

Súvisiace pojmy

Jailbreaking

Jailbreaking označuje pokusy obísť bezpečnostné pravidlá modelu AI šikovne formulovanými vstupmi tak, aby vytvoril obsah alebo vykonal akcie, ktoré má odmietnuť. Pre organizácie je to riziko, pretože chatbot by mohol napríklad prezradiť dôverné pokyny alebo reagovať nevhodne. Ochranné opatrenia zahŕňajú jasné systémové pokyny, kontrolu vstupov a výstupov, obmedzené oprávnenia, protokolovanie a pravidelné bezpečnostné testy (red teaming).

  • Bezpečnosť
  • prevencia zneužitia
  • +1
Šablóna

AI firewall

AI firewall je ochranná vrstva medzi používateľmi, zdrojmi údajov a modelom AI. Kontroluje vstupy z hľadiska pokusov o manipuláciu, ako sú prompt injection alebo jailbreaky, a pred odovzdaním ďalej kontroluje výstupy, napríklad na dôverné údaje alebo nežiaduci obsah. Môže používať pravidlá, klasifikačné modely alebo druhý jazykový model. AI firewall znižuje riziko, ale neposkytuje úplnú ochranu a nenahrádza obmedzené oprávnenia ani testovanie.

  • Bezpečnosť
  • prompt injection
  • +1
Šablóna

Bezpečnosť LLM

Bezpečnosť LLM zahŕňa všetky opatrenia, ktoré chránia aplikácie postavené na veľkých jazykových modeloch pred zneužitím, únikom údajov a nežiaducim správaním. Typické riziká zahŕňajú prompt injection, prezradenie dôverných pokynov alebo údajov a agentov s nadmernými oprávneniami. Ochranu zabezpečuje viacero vrstiev: jasné pokyny, obmedzené práva, kontroly vstupov a výstupov, AI firewally, red teaming a pravidelné audity.

  • bezpečnosť
  • jazykové modely
  • +1
Šablóna

Nepriama prompt injection

Pri nepriamej prompt injection nie sú manipulatívne pokyny vo vstupe používateľa, ale skryté v obsahu, ktorý systém AI popri tom spracúva, napríklad na webových stránkach, v e-mailoch alebo dokumentoch. Keď agent takýto obsah prečíta, môže skryté príkazy pokladať za skutočné úlohy a napríklad prezradiť údaje. Ochrana zahŕňa striktné zaobchádzanie s externým obsahom ako s údajmi, obmedzenie oprávnení, kontrolu vstupov a vyžadovanie ľudského schválenia pri kritických akciách.

  • Bezpečnosť
  • prompt injection
  • +1
Šablóna