DE
AnmeldenJetzt starten
Glossar

Indirekte Prompt-Injektion

Was ist Indirekte Prompt-Injektion?

Bei einer indirekten Prompt-Injektion stecken manipulative Anweisungen nicht in der Eingabe des Nutzers, sondern in Inhalten, die ein KI-System nebenbei verarbeitet, etwa Webseiten, E-Mails oder Dokumente. Liest ein Agent solche Inhalte, kann er versteckte Befehle fälschlich als Auftrag verstehen und zum Beispiel Daten preisgeben. Schutz bieten unter anderem: fremde Inhalte strikt als Daten behandeln, Berechtigungen begrenzen, Eingaben prüfen und kritische Aktionen von Menschen freigeben lassen.

So hilft KI.ordo

KI.ordo bietet die Vorlage „KI-Firewall: Eingabe prüfen“, die sich als zusätzliche Prüfschicht vor einen Agenten schalten lässt, etwa wenn Inhalte über das Werkzeug „Webseite lesen“ hereinkommen.

Mehr erfahren →: Indirekte Prompt-Injektion

Passende Vorlagen

Themen

  • Sicherheit
  • Prompt-Injektion
  • Agenten

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten
← Alle Begriffe

Verwandte Begriffe

KI-Firewall

Eine KI-Firewall ist eine Schutzschicht zwischen Nutzern, Datenquellen und einem KI-Modell. Sie prüft Eingaben auf Manipulationsversuche wie Prompt-Injektion oder Jailbreaks und kontrolliert Ausgaben, etwa auf vertrauliche Daten oder unerwünschte Inhalte, bevor sie weitergegeben werden. Dafür nutzt sie Regeln, Klassifikationsmodelle oder ein weiteres Sprachmodell. Eine KI-Firewall senkt Risiken, bietet aber keinen vollständigen Schutz und ersetzt weder begrenzte Berechtigungen noch Tests.

  • Sicherheit
  • Prompt-Injektion
  • +1
Vorlage

Jailbreaking

Jailbreaking bezeichnet Versuche, die Sicherheitsregeln eines KI-Modells durch geschickt formulierte Eingaben zu umgehen, damit es Inhalte liefert oder Dinge tut, die es eigentlich ablehnen soll. Für Unternehmen ist das ein Risiko, weil ein Chatbot so etwa vertrauliche Anweisungen preisgeben oder unangemessen antworten könnte. Schutzmaßnahmen sind klare Systemanweisungen, Prüfungen von Ein- und Ausgaben, begrenzte Berechtigungen, Protokollierung und regelmäßige Sicherheitstests (Red Teaming).

  • Sicherheit
  • Missbrauchsschutz
  • +1
Vorlage

LLM-Sicherheit

LLM-Sicherheit umfasst alle Maßnahmen, die Anwendungen mit großen Sprachmodellen vor Missbrauch, Datenabfluss und Fehlverhalten schützen. Typische Risiken sind Prompt-Injektion, die Preisgabe vertraulicher Anweisungen oder Daten und zu weitreichende Befugnisse von Agenten. Schutz entsteht aus mehreren Ebenen: klare Anweisungen, eingeschränkte Rechte, Prüfung von Ein- und Ausgaben, KI-Firewalls, Red Teaming und regelmäßige Audits.

  • Sicherheit
  • Sprachmodelle
  • +1
Vorlage

OWASP LLM Top 10

Die OWASP Top 10 für LLM-Anwendungen sind eine Liste der wichtigsten Sicherheitsrisiken bei Anwendungen mit großen Sprachmodellen, herausgegeben vom OWASP GenAI Security Project. Die aktuelle Fassung 2026 erschien im August 2026 (Stand: Oktober 2026) und umfasst: Prompt-Injektion, Offenlegung sensibler Informationen, übermäßige Handlungsbefugnis, Lieferkette, Daten- und Modellvergiftung, unbegrenzter Verbrauch, Fehlinformation, Offenlegung verborgenen Kontexts, Schwächen bei Vektoren und Embeddings sowie unsichere Ausgabeverarbeitung. Sie dient als Prüfliste für Entwicklung und Audits.

  • Sicherheit
  • Standard
  • +1
Vorlage