DE
AnmeldenJetzt starten
Glossar

LLM-Sicherheit

Was ist LLM-Sicherheit?

LLM-Sicherheit umfasst alle Maßnahmen, die Anwendungen mit großen Sprachmodellen vor Missbrauch, Datenabfluss und Fehlverhalten schützen. Typische Risiken sind Prompt-Injektion, die Preisgabe vertraulicher Anweisungen oder Daten und zu weitreichende Befugnisse von Agenten. Schutz entsteht aus mehreren Ebenen: klare Anweisungen, eingeschränkte Rechte, Prüfung von Ein- und Ausgaben, KI-Firewalls, Red Teaming und regelmäßige Audits.

So hilft KI.ordo

In KI.ordo legen Rollen von Betrachter bis Eigentümer fest, wer Agenten und Wissen ändern darf, ein Änderungsprotokoll macht Anpassungen nachvollziehbar, und eine Vorlage für Chatbot-Sicherheitsaudits unterstützt die Prüfung.

Mehr erfahren →: LLM-Sicherheit

Passende Vorlagen

Themen

  • Sicherheit
  • Sprachmodelle
  • Risikomanagement

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten
← Alle Begriffe

Verwandte Begriffe

KI-Firewall

Eine KI-Firewall ist eine Schutzschicht zwischen Nutzern, Datenquellen und einem KI-Modell. Sie prüft Eingaben auf Manipulationsversuche wie Prompt-Injektion oder Jailbreaks und kontrolliert Ausgaben, etwa auf vertrauliche Daten oder unerwünschte Inhalte, bevor sie weitergegeben werden. Dafür nutzt sie Regeln, Klassifikationsmodelle oder ein weiteres Sprachmodell. Eine KI-Firewall senkt Risiken, bietet aber keinen vollständigen Schutz und ersetzt weder begrenzte Berechtigungen noch Tests.

  • Sicherheit
  • Prompt-Injektion
  • +1
Vorlage

AI Red Teaming

AI Red Teaming ist die strukturierte Prüfung eines KI-Systems aus Sicht möglicher Angreifer oder Fehlnutzer. Fachleute testen kontrolliert, ob ein Chatbot vertrauliche Anweisungen preisgibt, sich zu unerwünschtem Verhalten verleiten lässt, falsche Fakten liefert oder Daten offenlegt. Die Ergebnisse fließen in bessere Anweisungen, Filter und Berechtigungen ein. Ein Chatbot-Sicherheitsaudit ist eine leichtere Form davon: Es bewertet Konfiguration und Beispielgespräche entlang bekannter Risikobereiche wie der OWASP Top 10 für LLM-Anwendungen.

  • KI-Sicherheit
  • Sicherheitstest
  • +1
Vorlage

Indirekte Prompt-Injektion

Bei einer indirekten Prompt-Injektion stecken manipulative Anweisungen nicht in der Eingabe des Nutzers, sondern in Inhalten, die ein KI-System nebenbei verarbeitet, etwa Webseiten, E-Mails oder Dokumente. Liest ein Agent solche Inhalte, kann er versteckte Befehle fälschlich als Auftrag verstehen und zum Beispiel Daten preisgeben. Schutz bieten unter anderem: fremde Inhalte strikt als Daten behandeln, Berechtigungen begrenzen, Eingaben prüfen und kritische Aktionen von Menschen freigeben lassen.

  • Sicherheit
  • Prompt-Injektion
  • +1
Vorlage

OWASP LLM Top 10

Die OWASP Top 10 für LLM-Anwendungen sind eine Liste der wichtigsten Sicherheitsrisiken bei Anwendungen mit großen Sprachmodellen, herausgegeben vom OWASP GenAI Security Project. Die aktuelle Fassung 2026 erschien im August 2026 (Stand: Oktober 2026) und umfasst: Prompt-Injektion, Offenlegung sensibler Informationen, übermäßige Handlungsbefugnis, Lieferkette, Daten- und Modellvergiftung, unbegrenzter Verbrauch, Fehlinformation, Offenlegung verborgenen Kontexts, Schwächen bei Vektoren und Embeddings sowie unsichere Ausgabeverarbeitung. Sie dient als Prüfliste für Entwicklung und Audits.

  • Sicherheit
  • Standard
  • +1
Vorlage