CS
Přihlásit seZačít
Glosář

Token Smuggling

Co je Token Smuggling?

Token smuggling je forma jailbreaku, při níž se nežádoucí pokyny maskují, například rozdělením na fragmenty, překódováním nebo zápisem podobně vypadajícími znaky, aby je jednoduché filtry klíčových slov přehlédly, zatímco jazykový model jejich význam přesto pochopí. Ochrana zahrnuje normalizaci vstupů před jejich posouzením, kontroly podle obsahu místo čistě podle slov, kontrolu výstupů a udělování AI agentům co nejmenšího počtu oprávnění.

Jak pomáhá KI.ordo

Šablona KI.ordo „AI firewall: zkontrolovat vstup“ nechá podezřelé vstupy posoudit podle jejich obsahu, než se dostanou k agentovi, a v případě potřeby je zablokuje.

Zjistit více : Token Smuggling

Vhodné šablony

Témata

  • Bezpečnost
  • Jailbreaking
  • LLM

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo
← Všechny pojmy

Související pojmy

Jailbreaking

Jailbreaking označuje pokusy obejít bezpečnostní pravidla modelu AI důmyslně formulovanými vstupy, aby vytvořil obsah nebo provedl akce, které má odmítnout. Pro organizace je to riziko, protože chatbot by mohl například prozradit důvěrné pokyny nebo odpovědět nevhodně. Ochrannými opatřeními jsou jasné systémové pokyny, kontrola vstupů a výstupů, omezená oprávnění, protokolování a pravidelné bezpečnostní testy (red teaming).

  • Bezpečnost
  • prevence zneužití
  • +1
Šablona

AI firewall

AI firewall je ochranná vrstva mezi uživateli, zdroji dat a modelem AI. Kontroluje vstupy z hlediska pokusů o manipulaci, například prompt injection nebo jailbreaků, a před předáním dál prověřuje výstupy, například na důvěrná data nebo nežádoucí obsah. Může používat pravidla, klasifikační modely nebo druhý jazykový model. AI firewall snižuje riziko, ale nenabízí úplnou ochranu a nenahrazuje omezená oprávnění ani testování.

  • Bezpečnost
  • prompt injection
  • +1
Šablona

bezpečnost LLM

Bezpečnost LLM zahrnuje všechna opatření, která chrání aplikace postavené na velkých jazykových modelech před zneužitím, únikem dat a nežádoucím chováním. Typická rizika zahrnují prompt injection, vyzrazení důvěrných pokynů nebo dat a agenty s nadměrnými oprávněními. Ochrana vychází z několika vrstev: jasné pokyny, omezená práva, kontroly vstupů a výstupů, AI firewally, red teaming a pravidelné audity.

  • bezpečnost
  • jazykové modely
  • +1
Šablona

Nepřímá prompt injection

Při nepřímé prompt injection nejsou manipulativní pokyny ve vstupu uživatele, ale ukryté v obsahu, který systém AI mimochodem zpracovává, například na webových stránkách, v e-mailech nebo dokumentech. Když agent takový obsah čte, může skryté příkazy považovat za skutečné úkoly a například vyzradit data. Ochranou je důsledné zacházení s externím obsahem jako s daty, omezená oprávnění, kontrola vstupů a vyžadování lidského schválení u kritických akcí.

  • Bezpečnost
  • prompt injection
  • +1
Šablona