SV
Logga inKom igång
Ordlista

Jailbreaking

Vad är Jailbreaking?

Jailbreaking avser försök att kringgå en AI-modells säkerhetsregler med listigt formulerade indata, så att den skapar innehåll eller vidtar åtgärder som den är avsedd att vägra. För organisationer är det en risk, eftersom en chattbot till exempel kan avslöja konfidentiella instruktioner eller svara olämpligt. Skyddsåtgärder är tydliga systeminstruktioner, granskning av indata och utdata, begränsade behörigheter, loggning och regelbundna säkerhetstester (red teaming).

Så hjälper KI.ordo

De färdiga mallarna i KI.ordo för en AI-brandvägg och en säkerhetsgranskning av chattbotar hjälper till att upptäcka misstänkta indata och kontrollera de egna agenternas instruktioner med avseende på svagheter.

Läs mer : Jailbreaking

Passande mallar

Ämnen

  • Säkerhet
  • Förebyggande av missbruk
  • LLM

Prova KI.ordo

Agenter, flöden och mallar i en arbetsyta – gratis demo i 24 timmar.

Starta demo
← Alla begrepp

Relaterade begrepp

Indirekt promptinjektion

Vid en indirekt promptinjektion finns de manipulativa instruktionerna inte i användarens indata utan gömda i innehåll som ett AI-system bearbetar längs vägen, som webbsidor, e-postmeddelanden eller dokument. När en agent läser sådant innehåll kan den ta dolda kommandon för riktiga uppgifter och till exempel avslöja data. Skydd är att behandla externt innehåll strikt som data, begränsa behörigheter, granska indata och kräva mänskligt godkännande för kritiska åtgärder.

  • Säkerhet
  • Promptinjektion
  • +1
Mall

AI-brandvägg

En AI-brandvägg är ett skyddslager mellan användare, datakällor och en AI-modell. Den granskar indata med avseende på manipulationsförsök som promptinjektion eller jailbreaks och kontrollerar utdata, till exempel med avseende på konfidentiella data eller oönskat innehåll, innan de förs vidare. Den kan använda regler, klassificeringsmodeller eller en andra språkmodell. En AI-brandvägg minskar risken men ger inget fullständigt skydd och ersätter varken begränsade behörigheter eller tester.

  • Säkerhet
  • Promptinjektion
  • +1
Mall

AI-red teaming

AI-red teaming är en strukturerad granskning av ett AI-system ur potentiella angripares eller missbrukares perspektiv. Specialister testar under kontrollerade former om en chattbot röjer konfidentiella instruktioner, kan förmås till oönskat beteende, levererar felaktiga fakta eller exponerar data. Resultaten används för att förbättra instruktioner, filter och behörigheter. En säkerhetsgranskning av en chattbot är en lättare variant: den bedömer konfiguration och exempelsamtal mot kända riskområden som OWASP Top 10 för LLM-applikationer.

  • AI-säkerhet
  • Säkerhetstester
  • +1
Mall

Extrahering av systemprompt

Extrahering av systemprompt avser försök att få en chattbot eller AI-agent att avslöja sina dolda systeminstruktioner. Om ett sådant försök lyckas kallas resultatet prompt leaking: extraheringen är attacken, läckan är följden. Ett effektivt skydd börjar med att hålla lösenord, nycklar och konfidentiella regler utanför instruktionerna och utgå från att de kan bli offentliga; kontroll av indata och regelbundna tester ger ytterligare skydd.

  • Säkerhet
  • Prompt leaking
  • +1
Mall