DE
AnmeldenJetzt starten
Glossar

Jailbreaking

Was ist Jailbreaking?

Jailbreaking bezeichnet Versuche, die Sicherheitsregeln eines KI-Modells durch geschickt formulierte Eingaben zu umgehen, damit es Inhalte liefert oder Dinge tut, die es eigentlich ablehnen soll. Für Unternehmen ist das ein Risiko, weil ein Chatbot so etwa vertrauliche Anweisungen preisgeben oder unangemessen antworten könnte. Schutzmaßnahmen sind klare Systemanweisungen, Prüfungen von Ein- und Ausgaben, begrenzte Berechtigungen, Protokollierung und regelmäßige Sicherheitstests (Red Teaming).

So hilft KI.ordo

Die KI.ordo-Vorlagen „KI-Firewall: Eingabe prüfen“ und „Chatbot-Sicherheitsaudit“ helfen, verdächtige Eingaben zu erkennen und die Anweisungen eigener Agenten auf Schwachstellen zu prüfen.

Mehr erfahren →: Jailbreaking

Passende Vorlagen

Themen

  • Sicherheit
  • Missbrauchsschutz
  • LLM

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten
← Alle Begriffe

Verwandte Begriffe

Indirekte Prompt-Injektion

Bei einer indirekten Prompt-Injektion stecken manipulative Anweisungen nicht in der Eingabe des Nutzers, sondern in Inhalten, die ein KI-System nebenbei verarbeitet, etwa Webseiten, E-Mails oder Dokumente. Liest ein Agent solche Inhalte, kann er versteckte Befehle fälschlich als Auftrag verstehen und zum Beispiel Daten preisgeben. Schutz bieten unter anderem: fremde Inhalte strikt als Daten behandeln, Berechtigungen begrenzen, Eingaben prüfen und kritische Aktionen von Menschen freigeben lassen.

  • Sicherheit
  • Prompt-Injektion
  • +1
Vorlage

KI-Firewall

Eine KI-Firewall ist eine Schutzschicht zwischen Nutzern, Datenquellen und einem KI-Modell. Sie prüft Eingaben auf Manipulationsversuche wie Prompt-Injektion oder Jailbreaks und kontrolliert Ausgaben, etwa auf vertrauliche Daten oder unerwünschte Inhalte, bevor sie weitergegeben werden. Dafür nutzt sie Regeln, Klassifikationsmodelle oder ein weiteres Sprachmodell. Eine KI-Firewall senkt Risiken, bietet aber keinen vollständigen Schutz und ersetzt weder begrenzte Berechtigungen noch Tests.

  • Sicherheit
  • Prompt-Injektion
  • +1
Vorlage

AI Red Teaming

AI Red Teaming ist die strukturierte Prüfung eines KI-Systems aus Sicht möglicher Angreifer oder Fehlnutzer. Fachleute testen kontrolliert, ob ein Chatbot vertrauliche Anweisungen preisgibt, sich zu unerwünschtem Verhalten verleiten lässt, falsche Fakten liefert oder Daten offenlegt. Die Ergebnisse fließen in bessere Anweisungen, Filter und Berechtigungen ein. Ein Chatbot-Sicherheitsaudit ist eine leichtere Form davon: Es bewertet Konfiguration und Beispielgespräche entlang bekannter Risikobereiche wie der OWASP Top 10 für LLM-Anwendungen.

  • KI-Sicherheit
  • Sicherheitstest
  • +1
Vorlage

System Prompt Extraktion

System Prompt Extraktion bezeichnet Versuche, einen Chatbot oder KI-Agenten dazu zu bringen, seine verborgenen Systemanweisungen preiszugeben. Gelingt das, spricht man von Prompt Leaking: Die Extraktion ist der Angriff, das Leck die Folge. Wirksamer Schutz beginnt damit, keine Passwörter, Schlüssel oder vertraulichen Regeln in Anweisungen zu schreiben und davon auszugehen, dass sie öffentlich werden können; ergänzend helfen Eingabeprüfungen und regelmäßige Tests.

  • Sicherheit
  • Prompt Leaking
  • +1
Vorlage