NL
InloggenAan de slag
Woordenlijst

Manipulatie van het contextvenster

Wat is Manipulatie van het contextvenster?

Manipulatie van het contextvenster verwijst naar aanvallen die de tekst die een taalmodel in één keer verwerkt doelbewust beïnvloeden, bijvoorbeeld via verborgen instructies in documenten, verzonnen eerdere delen van een gesprek of grote hoeveelheden opvulling die de oorspronkelijke regels op de achtergrond dringen. Bescherming komt van het duidelijk scheiden van vertrouwde instructies en externe inhoud, lengtebeperkingen, invoercontroles en het geven van zo min mogelijk rechten aan agents.

Hoe KI.ordo helpt

Het sjabloon “AI-firewall: invoer controleren” van KI.ordo kan als subworkflow voor een agent worden geplaatst om verdachte invoer vooraf eruit te filteren.

Meer informatie : Manipulatie van het contextvenster

Passende sjablonen

Onderwerpen

  • Beveiliging
  • Prompt injection
  • LLM

KI.ordo uitproberen

Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.

Demo starten
← Alle begrippen

Verwante begrippen

Indirecte prompt injection

Bij een indirecte prompt injection staan manipulatieve instructies niet in de invoer van de gebruiker, maar zijn ze verborgen in inhoud die een AI-systeem onderweg verwerkt, zoals webpagina’s, e-mails of documenten. Wanneer een agent zulke inhoud leest, kan hij verborgen commando’s aanzien voor echte taken en bijvoorbeeld gegevens prijsgeven. Beveiligingsmaatregelen zijn onder meer externe inhoud strikt als data behandelen, rechten beperken, invoer screenen en voor kritieke acties menselijke goedkeuring eisen.

  • Beveiliging
  • Prompt injection
  • +1
Sjabloon

AI-firewall

Een AI-firewall is een beschermende laag tussen gebruikers, gegevensbronnen en een AI-model. Hij screent invoer op manipulatiepogingen zoals prompt injection of jailbreaks en controleert uitvoer, bijvoorbeeld op vertrouwelijke gegevens of ongewenste inhoud, voordat die wordt doorgegeven. Hij kan gebruikmaken van regels, classificatiemodellen of een tweede taalmodel. Een AI-firewall verkleint het risico, maar biedt geen volledige bescherming en vervangt noch beperkte rechten noch testen.

  • Beveiliging
  • Prompt injection
  • +1
Sjabloon

Token Smuggling

Token smuggling is een vorm van jailbreaken waarbij ongewenste instructies worden vermomd, bijvoorbeeld in fragmenten opgesplitst, opnieuw gecodeerd of geschreven met gelijkende tekens, zodat eenvoudige trefwoordfilters ze missen terwijl het taalmodel de betekenis toch begrijpt. Bescherming bestaat uit het normaliseren van invoer vóór de beoordeling, controles op inhoud in plaats van louter op woorden, het nakijken van uitvoer en het geven van zo min mogelijk rechten aan AI-agents.

  • Beveiliging
  • Jailbreaking
  • +1
Sjabloon

Jailbreaking

Jailbreaking verwijst naar pogingen om de veiligheidsregels van een AI-model te omzeilen met slim geformuleerde invoer, zodat het inhoud produceert of acties uitvoert die het zou moeten weigeren. Voor organisaties is dit een risico, omdat een chatbot bijvoorbeeld vertrouwelijke instructies kan prijsgeven of ongepast kan reageren. Beschermende maatregelen zijn duidelijke systeeminstructies, screening van invoer en uitvoer, beperkte rechten, logging en regelmatige beveiligingstests (red teaming).

  • Beveiliging
  • Misbruikpreventie
  • +1
Sjabloon