DE
AnmeldenJetzt starten
Glossar

Kontextfenster-Manipulation

Was ist Kontextfenster-Manipulation?

Kontextfenster-Manipulation bezeichnet Angriffe, bei denen der Text, den ein Sprachmodell gleichzeitig verarbeitet, gezielt beeinflusst wird – etwa durch versteckte Anweisungen in Dokumenten, vorgetäuschte frühere Gesprächsteile oder große Mengen an Füllinhalt, die ursprüngliche Regeln in den Hintergrund drängen. Schutz bieten eine klare Trennung von vertrauenswürdigen Anweisungen und fremden Inhalten, Längenbegrenzungen, die Prüfung von Eingaben und möglichst geringe Rechte für Agenten.

So hilft KI.ordo

Die KI.ordo-Vorlage „KI-Firewall: Eingabe prüfen“ lässt sich als Unterablauf vor einen Agenten schalten, um verdächtige Eingaben vorab auszusortieren.

Mehr erfahren →: Kontextfenster-Manipulation

Passende Vorlagen

Themen

  • Sicherheit
  • Prompt-Injektion
  • LLM

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten
← Alle Begriffe

Verwandte Begriffe

Indirekte Prompt-Injektion

Bei einer indirekten Prompt-Injektion stecken manipulative Anweisungen nicht in der Eingabe des Nutzers, sondern in Inhalten, die ein KI-System nebenbei verarbeitet, etwa Webseiten, E-Mails oder Dokumente. Liest ein Agent solche Inhalte, kann er versteckte Befehle fälschlich als Auftrag verstehen und zum Beispiel Daten preisgeben. Schutz bieten unter anderem: fremde Inhalte strikt als Daten behandeln, Berechtigungen begrenzen, Eingaben prüfen und kritische Aktionen von Menschen freigeben lassen.

  • Sicherheit
  • Prompt-Injektion
  • +1
Vorlage

KI-Firewall

Eine KI-Firewall ist eine Schutzschicht zwischen Nutzern, Datenquellen und einem KI-Modell. Sie prüft Eingaben auf Manipulationsversuche wie Prompt-Injektion oder Jailbreaks und kontrolliert Ausgaben, etwa auf vertrauliche Daten oder unerwünschte Inhalte, bevor sie weitergegeben werden. Dafür nutzt sie Regeln, Klassifikationsmodelle oder ein weiteres Sprachmodell. Eine KI-Firewall senkt Risiken, bietet aber keinen vollständigen Schutz und ersetzt weder begrenzte Berechtigungen noch Tests.

  • Sicherheit
  • Prompt-Injektion
  • +1
Vorlage

Token Smuggling

Token Smuggling ist eine Form des Jailbreakings, bei der unerwünschte Anweisungen so verschleiert werden – etwa zerstückelt, umcodiert oder mit ähnlich aussehenden Zeichen –, dass einfache Schlagwortfilter sie nicht erkennen, das Sprachmodell den Sinn aber trotzdem erfasst. Zum Schutz gehören Prüfungen, die Eingaben vor der Bewertung normalisieren, inhaltliche statt rein wortbasierte Kontrollen, eine Prüfung der Ausgaben und möglichst geringe Rechte für KI-Agenten.

  • Sicherheit
  • Jailbreaking
  • +1
Vorlage

Jailbreaking

Jailbreaking bezeichnet Versuche, die Sicherheitsregeln eines KI-Modells durch geschickt formulierte Eingaben zu umgehen, damit es Inhalte liefert oder Dinge tut, die es eigentlich ablehnen soll. Für Unternehmen ist das ein Risiko, weil ein Chatbot so etwa vertrauliche Anweisungen preisgeben oder unangemessen antworten könnte. Schutzmaßnahmen sind klare Systemanweisungen, Prüfungen von Ein- und Ausgaben, begrenzte Berechtigungen, Protokollierung und regelmäßige Sicherheitstests (Red Teaming).

  • Sicherheit
  • Missbrauchsschutz
  • +1
Vorlage