Glossar

Adversarial Machine Learning

Was ist Adversarial Machine Learning?

Adversarial Machine Learning untersucht, wie KI-Modelle durch gezielt manipulierte Eingaben oder Trainingsdaten getäuscht werden können – und wie man sie davor schützt. Bekannte Beispiele sind kaum sichtbare Bildveränderungen, die eine Klassifizierung kippen lassen, oder vergiftete Trainingsdaten. Für Unternehmen ist das Thema relevant, sobald KI sicherheitskritische Entscheidungen unterstützt. Schutzmaßnahmen sind unter anderem robustes Training, Eingabeprüfung, Überwachung und regelmäßige Sicherheitstests.

Themen

KI-Sicherheit
Robustheit
Angriffsschutz

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Modellrobustheit

Modellrobustheit beschreibt, wie zuverlässig ein KI-Modell arbeitet, wenn Eingaben verrauscht, unvollständig, ungewöhnlich oder gezielt manipuliert sind. Ein robustes Modell liefert auch dann stabile Ergebnisse, etwa eine Bilderkennung bei schlechter Beleuchtung oder ein Sprachmodell bei Tippfehlern. Robustheit wird mit Stresstests, vielfältigen Trainingsdaten und Tests gegen gezielte Täuschungsversuche geprüft und ist besonders in sicherheitskritischen Anwendungen wichtig.

Zuverlässigkeit
Modellqualität
+1

AI Red Teaming

AI Red Teaming ist die strukturierte Prüfung eines KI-Systems aus Sicht möglicher Angreifer oder Fehlnutzer. Fachleute testen kontrolliert, ob ein Chatbot vertrauliche Anweisungen preisgibt, sich zu unerwünschtem Verhalten verleiten lässt, falsche Fakten liefert oder Daten offenlegt. Die Ergebnisse fließen in bessere Anweisungen, Filter und Berechtigungen ein. Ein Chatbot-Sicherheitsaudit ist eine leichtere Form davon: Es bewertet Konfiguration und Beispielgespräche entlang bekannter Risikobereiche wie der OWASP Top 10 für LLM-Anwendungen.

KI-Sicherheit
Sicherheitstest
+1

Vorlage

LLM-Sicherheit

LLM-Sicherheit umfasst alle Maßnahmen, die Anwendungen mit großen Sprachmodellen vor Missbrauch, Datenabfluss und Fehlverhalten schützen. Typische Risiken sind Prompt-Injektion, die Preisgabe vertraulicher Anweisungen oder Daten und zu weitreichende Befugnisse von Agenten. Schutz entsteht aus mehreren Ebenen: klare Anweisungen, eingeschränkte Rechte, Prüfung von Ein- und Ausgaben, KI-Firewalls, Red Teaming und regelmäßige Audits.

Sicherheit
Sprachmodelle
+1

Vorlage

Trainingsdaten

Trainingsdaten sind die Beispiele, aus denen ein KI-Modell Muster lernt – bei Sprachmodellen große Textsammlungen, bei Bildmodellen beschriftete Bilder. Ihre Qualität, Vielfalt und Aktualität bestimmen maßgeblich, wie zuverlässig, fair und auf welchem Wissensstand ein Modell später antwortet. Für Unternehmen ist zudem wichtig, ob ein Anbieter eingegebene Kundendaten für weiteres Training verwendet.

Daten
Training
+1