SV
Logga inKom igång
Ordlista

Manipulation av kontextfönstret

Vad är Manipulation av kontextfönstret?

Manipulation av kontextfönstret avser attacker som medvetet påverkar den text som en språkmodell bearbetar på en gång, till exempel genom dolda instruktioner i dokument, påhittade tidigare delar av ett samtal eller stora mängder utfyllnad som trycker undan de ursprungliga reglerna. Skyddet består i att tydligt skilja betrodda instruktioner från externt innehåll, längdbegränsningar, kontroll av indata och att ge agenter så få behörigheter som möjligt.

Så hjälper KI.ordo

Mallen ”AI-brandvägg: kontrollera indata” i KI.ordo kan placeras framför en agent som ett underflöde för att i förväg sålla bort misstänkta indata.

Läs mer : Manipulation av kontextfönstret

Passande mallar

Ämnen

  • Säkerhet
  • Promptinjektion
  • LLM

Prova KI.ordo

Agenter, flöden och mallar i en arbetsyta – gratis demo i 24 timmar.

Starta demo
← Alla begrepp

Relaterade begrepp

Indirekt promptinjektion

Vid en indirekt promptinjektion finns de manipulativa instruktionerna inte i användarens indata utan gömda i innehåll som ett AI-system bearbetar längs vägen, som webbsidor, e-postmeddelanden eller dokument. När en agent läser sådant innehåll kan den ta dolda kommandon för riktiga uppgifter och till exempel avslöja data. Skydd är att behandla externt innehåll strikt som data, begränsa behörigheter, granska indata och kräva mänskligt godkännande för kritiska åtgärder.

  • Säkerhet
  • Promptinjektion
  • +1
Mall

AI-brandvägg

En AI-brandvägg är ett skyddslager mellan användare, datakällor och en AI-modell. Den granskar indata med avseende på manipulationsförsök som promptinjektion eller jailbreaks och kontrollerar utdata, till exempel med avseende på konfidentiella data eller oönskat innehåll, innan de förs vidare. Den kan använda regler, klassificeringsmodeller eller en andra språkmodell. En AI-brandvägg minskar risken men ger inget fullständigt skydd och ersätter varken begränsade behörigheter eller tester.

  • Säkerhet
  • Promptinjektion
  • +1
Mall

Token Smuggling

Token smuggling är en form av jailbreaking där oönskade instruktioner förklädas, till exempel delas upp i fragment, kodas om eller skrivs med tecken som ser likadana ut som andra, så att enkla nyckelordsfilter missar dem medan språkmodellen ändå förstår deras innebörd. Skydd är bland annat att normalisera indata innan de bedöms, innehållsbaserade snarare än rent ordbaserade kontroller, granskning av utdata och att ge AI-agenter så få behörigheter som möjligt.

  • Säkerhet
  • Jailbreaking
  • +1
Mall

Jailbreaking

Jailbreaking avser försök att kringgå en AI-modells säkerhetsregler med listigt formulerade indata, så att den skapar innehåll eller vidtar åtgärder som den är avsedd att vägra. För organisationer är det en risk, eftersom en chattbot till exempel kan avslöja konfidentiella instruktioner eller svara olämpligt. Skyddsåtgärder är tydliga systeminstruktioner, granskning av indata och utdata, begränsade behörigheter, loggning och regelbundna säkerhetstester (red teaming).

  • Säkerhet
  • Förebyggande av missbruk
  • +1
Mall