DA
Log indKom i gang
Ordliste

Token Smuggling

Hvad er Token Smuggling?

Token smuggling er en form for jailbreaking, hvor uønskede instruktioner forklædes, f.eks. ved at blive delt i fragmenter, omkodet eller skrevet med tegn, der ligner andre, så simple nøgleordsfiltre overser dem, mens sprogmodellen stadig forstår deres betydning. Beskyttelse omfatter normalisering af input, før de vurderes, indholdsbaserede frem for rent ordbaserede kontroller, gennemgang af output og at give AI-agenter så få rettigheder som muligt.

Sådan hjælper KI.ordo

KI.ordo-skabelonen »AI-firewall: tjek input« lader mistænkelige input vurdere på indholdet, før de når en agent, og blokerer dem om nødvendigt.

Læs mere : Token Smuggling

Matchende skabeloner

Emner

  • Sikkerhed
  • Jailbreaking
  • LLM

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo
← Alle begreber

Relaterede begreber

Jailbreaking

Jailbreaking betegner forsøg på at omgå en AI-models sikkerhedsregler med snedigt formulerede input, så den frembringer indhold eller foretager handlinger, den skulle afvise. For organisationer er det en risiko, fordi en chatbot f.eks. kan afsløre fortrolige instruktioner eller svare upassende. Beskyttelsesforanstaltninger er klare systeminstruktioner, screening af input og output, begrænsede tilladelser, logning og regelmæssige sikkerhedstest (red teaming).

  • Sikkerhed
  • Forebyggelse af misbrug
  • +1
Skabelon

AI-firewall

En AI-firewall er et beskyttelseslag mellem brugere, datakilder og en AI-model. Den screener input for manipulationsforsøg som prompt injection eller jailbreaks og kontrollerer output, f.eks. for fortrolige data eller uønsket indhold, før det sendes videre. Den kan bruge regler, klassifikationsmodeller eller en anden sprogmodel. En AI-firewall mindsker risikoen, men giver ikke fuldstændig beskyttelse og erstatter hverken begrænsede tilladelser eller test.

  • Sikkerhed
  • Prompt injection
  • +1
Skabelon

LLM-sikkerhed

LLM-sikkerhed omfatter alle foranstaltninger, der beskytter applikationer bygget på store sprogmodeller mod misbrug, datalæk og uønsket adfærd. Typiske risici er prompt injection, afsløring af fortrolige instruktioner eller data og agenter med for vidtgående tilladelser. Beskyttelsen kommer fra flere lag: klare instruktioner, begrænsede rettigheder, kontrol af input og output, AI-firewalls, red teaming og regelmæssige audits.

  • sikkerhed
  • sprogmodeller
  • +1
Skabelon

Indirekte prompt injection

Ved en indirekte prompt injection ligger de manipulerende instruktioner ikke i brugerens input, men er skjult i indhold, som et AI-system behandler undervejs, f.eks. websider, e-mails eller dokumenter. Når en agent læser sådant indhold, kan den forveksle skjulte kommandoer med ægte opgaver og f.eks. afsløre data. Sikringstiltag er at behandle eksternt indhold strengt som data, begrænse tilladelser, screene input og kræve menneskelig godkendelse af kritiske handlinger.

  • Sikkerhed
  • Prompt injection
  • +1
Skabelon