DA
Log indKom i gang
Ordliste

Manipulation af kontekstvinduet

Hvad er Manipulation af kontekstvinduet?

Manipulation af kontekstvinduet betegner angreb, der bevidst påvirker den tekst, en sprogmodel behandler på én gang, f.eks. gennem skjulte instruktioner i dokumenter, opdigtede tidligere dele af en samtale eller store mængder fyldstof, der skubber de oprindelige regler i baggrunden. Beskyttelsen består i klart at adskille betroede instruktioner fra eksternt indhold, længdegrænser, inputkontrol og i at give agenter så få tilladelser som muligt.

Sådan hjælper KI.ordo

KI.ordos skabelon »AI-firewall: kontrollér input« kan sættes foran en agent som et underflow for på forhånd at filtrere mistænkelige input fra.

Læs mere : Manipulation af kontekstvinduet

Matchende skabeloner

Emner

  • Sikkerhed
  • Prompt injection
  • LLM

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo
← Alle begreber

Relaterede begreber

Indirekte prompt injection

Ved en indirekte prompt injection ligger de manipulerende instruktioner ikke i brugerens input, men er skjult i indhold, som et AI-system behandler undervejs, f.eks. websider, e-mails eller dokumenter. Når en agent læser sådant indhold, kan den forveksle skjulte kommandoer med ægte opgaver og f.eks. afsløre data. Sikringstiltag er at behandle eksternt indhold strengt som data, begrænse tilladelser, screene input og kræve menneskelig godkendelse af kritiske handlinger.

  • Sikkerhed
  • Prompt injection
  • +1
Skabelon

AI-firewall

En AI-firewall er et beskyttelseslag mellem brugere, datakilder og en AI-model. Den screener input for manipulationsforsøg som prompt injection eller jailbreaks og kontrollerer output, f.eks. for fortrolige data eller uønsket indhold, før det sendes videre. Den kan bruge regler, klassifikationsmodeller eller en anden sprogmodel. En AI-firewall mindsker risikoen, men giver ikke fuldstændig beskyttelse og erstatter hverken begrænsede tilladelser eller test.

  • Sikkerhed
  • Prompt injection
  • +1
Skabelon

Token Smuggling

Token smuggling er en form for jailbreaking, hvor uønskede instruktioner forklædes, f.eks. ved at blive delt i fragmenter, omkodet eller skrevet med tegn, der ligner andre, så simple nøgleordsfiltre overser dem, mens sprogmodellen stadig forstår deres betydning. Beskyttelse omfatter normalisering af input, før de vurderes, indholdsbaserede frem for rent ordbaserede kontroller, gennemgang af output og at give AI-agenter så få rettigheder som muligt.

  • Sikkerhed
  • Jailbreaking
  • +1
Skabelon

Jailbreaking

Jailbreaking betegner forsøg på at omgå en AI-models sikkerhedsregler med snedigt formulerede input, så den frembringer indhold eller foretager handlinger, den skulle afvise. For organisationer er det en risiko, fordi en chatbot f.eks. kan afsløre fortrolige instruktioner eller svare upassende. Beskyttelsesforanstaltninger er klare systeminstruktioner, screening af input og output, begrænsede tilladelser, logning og regelmæssige sikkerhedstest (red teaming).

  • Sikkerhed
  • Forebyggelse af misbrug
  • +1
Skabelon