Ordlista

Token Smuggling

Vad är Token Smuggling?

Token smuggling är en form av jailbreaking där oönskade instruktioner förklädas, till exempel delas upp i fragment, kodas om eller skrivs med tecken som ser likadana ut som andra, så att enkla nyckelordsfilter missar dem medan språkmodellen ändå förstår deras innebörd. Skydd är bland annat att normalisera indata innan de bedöms, innehållsbaserade snarare än rent ordbaserade kontroller, granskning av utdata och att ge AI-agenter så få behörigheter som möjligt.

Så hjälper KI.ordo

Mallen ”AI-brandvägg: kontrollera indata” i KI.ordo låter misstänkta indata bedömas utifrån sitt innehåll innan de når en agent och blockerar dem vid behov.

Läs mer : Token Smuggling

Ämnen

  • Säkerhet
  • Jailbreaking
  • LLM

Prova KI.ordo

Agenter, flöden och mallar i en arbetsyta – gratis demo i 24 timmar.

Starta demo
← Alla begrepp

Relaterade begrepp

Jailbreaking

Jailbreaking avser försök att kringgå en AI-modells säkerhetsregler med listigt formulerade indata, så att den skapar innehåll eller vidtar åtgärder som den är avsedd att vägra. För organisationer är det en risk, eftersom en chattbot till exempel kan avslöja konfidentiella instruktioner eller svara olämpligt. Skyddsåtgärder är tydliga systeminstruktioner, granskning av indata och utdata, begränsade behörigheter, loggning och regelbundna säkerhetstester (red teaming).

  • Säkerhet
  • Förebyggande av missbruk
  • +1
Mall

AI-brandvägg

En AI-brandvägg är ett skyddslager mellan användare, datakällor och en AI-modell. Den granskar indata med avseende på manipulationsförsök som promptinjektion eller jailbreaks och kontrollerar utdata, till exempel med avseende på konfidentiella data eller oönskat innehåll, innan de förs vidare. Den kan använda regler, klassificeringsmodeller eller en andra språkmodell. En AI-brandvägg minskar risken men ger inget fullständigt skydd och ersätter varken begränsade behörigheter eller tester.

  • Säkerhet
  • Promptinjektion
  • +1
Mall

LLM-säkerhet

LLM-säkerhet omfattar alla åtgärder som skyddar applikationer byggda på stora språkmodeller mot missbruk, dataläckage och oönskat beteende. Typiska risker är promptinjektion, avslöjande av konfidentiella instruktioner eller data och agenter med alltför omfattande behörigheter. Skyddet kommer från flera lager: tydliga instruktioner, begränsade rättigheter, kontroller av indata och utdata, AI-brandväggar, red teaming och regelbundna granskningar.

  • säkerhet
  • språkmodeller
  • +1
Mall

Indirekt promptinjektion

Vid en indirekt promptinjektion finns de manipulativa instruktionerna inte i användarens indata utan gömda i innehåll som ett AI-system bearbetar längs vägen, som webbsidor, e-postmeddelanden eller dokument. När en agent läser sådant innehåll kan den ta dolda kommandon för riktiga uppgifter och till exempel avslöja data. Skydd är att behandla externt innehåll strikt som data, begränsa behörigheter, granska indata och kräva mänskligt godkännande för kritiska åtgärder.

  • Säkerhet
  • Promptinjektion
  • +1
Mall