DE
AnmeldenJetzt starten
Glossar

Token Smuggling

Was ist Token Smuggling?

Token Smuggling ist eine Form des Jailbreakings, bei der unerwünschte Anweisungen so verschleiert werden – etwa zerstückelt, umcodiert oder mit ähnlich aussehenden Zeichen –, dass einfache Schlagwortfilter sie nicht erkennen, das Sprachmodell den Sinn aber trotzdem erfasst. Zum Schutz gehören Prüfungen, die Eingaben vor der Bewertung normalisieren, inhaltliche statt rein wortbasierte Kontrollen, eine Prüfung der Ausgaben und möglichst geringe Rechte für KI-Agenten.

So hilft KI.ordo

Die KI.ordo-Vorlage „KI-Firewall: Eingabe prüfen“ lässt verdächtige Eingaben vor einem Agenten inhaltlich bewerten und gegebenenfalls blockieren.

Mehr erfahren →: Token Smuggling

Passende Vorlagen

Themen

  • Sicherheit
  • Jailbreaking
  • LLM

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten
← Alle Begriffe

Verwandte Begriffe

Jailbreaking

Jailbreaking bezeichnet Versuche, die Sicherheitsregeln eines KI-Modells durch geschickt formulierte Eingaben zu umgehen, damit es Inhalte liefert oder Dinge tut, die es eigentlich ablehnen soll. Für Unternehmen ist das ein Risiko, weil ein Chatbot so etwa vertrauliche Anweisungen preisgeben oder unangemessen antworten könnte. Schutzmaßnahmen sind klare Systemanweisungen, Prüfungen von Ein- und Ausgaben, begrenzte Berechtigungen, Protokollierung und regelmäßige Sicherheitstests (Red Teaming).

  • Sicherheit
  • Missbrauchsschutz
  • +1
Vorlage

KI-Firewall

Eine KI-Firewall ist eine Schutzschicht zwischen Nutzern, Datenquellen und einem KI-Modell. Sie prüft Eingaben auf Manipulationsversuche wie Prompt-Injektion oder Jailbreaks und kontrolliert Ausgaben, etwa auf vertrauliche Daten oder unerwünschte Inhalte, bevor sie weitergegeben werden. Dafür nutzt sie Regeln, Klassifikationsmodelle oder ein weiteres Sprachmodell. Eine KI-Firewall senkt Risiken, bietet aber keinen vollständigen Schutz und ersetzt weder begrenzte Berechtigungen noch Tests.

  • Sicherheit
  • Prompt-Injektion
  • +1
Vorlage

LLM-Sicherheit

LLM-Sicherheit umfasst alle Maßnahmen, die Anwendungen mit großen Sprachmodellen vor Missbrauch, Datenabfluss und Fehlverhalten schützen. Typische Risiken sind Prompt-Injektion, die Preisgabe vertraulicher Anweisungen oder Daten und zu weitreichende Befugnisse von Agenten. Schutz entsteht aus mehreren Ebenen: klare Anweisungen, eingeschränkte Rechte, Prüfung von Ein- und Ausgaben, KI-Firewalls, Red Teaming und regelmäßige Audits.

  • Sicherheit
  • Sprachmodelle
  • +1
Vorlage

Indirekte Prompt-Injektion

Bei einer indirekten Prompt-Injektion stecken manipulative Anweisungen nicht in der Eingabe des Nutzers, sondern in Inhalten, die ein KI-System nebenbei verarbeitet, etwa Webseiten, E-Mails oder Dokumente. Liest ein Agent solche Inhalte, kann er versteckte Befehle fälschlich als Auftrag verstehen und zum Beispiel Daten preisgeben. Schutz bieten unter anderem: fremde Inhalte strikt als Daten behandeln, Berechtigungen begrenzen, Eingaben prüfen und kritische Aktionen von Menschen freigeben lassen.

  • Sicherheit
  • Prompt-Injektion
  • +1
Vorlage