Glossar

KI in der Cybersicherheit

Was ist KI in der Cybersicherheit?

KI in der Cybersicherheit hat zwei Seiten. Einerseits helfen KI-Verfahren, Angriffe schneller zu erkennen, etwa durch Auffälligkeiten im Netzwerkverkehr, verdächtige Anmeldungen oder Phishing-Mails, und entlasten Sicherheitsteams bei der Auswertung von Warnmeldungen. Andererseits müssen KI-Systeme selbst geschützt werden, zum Beispiel gegen Prompt-Injektion oder Datenabfluss. Wirksam ist KI hier nur zusammen mit klaren Prozessen, aktuellen Systemen und geschulten Menschen.

Themen

Sicherheit
Angriffserkennung
Schutz

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Anomalieerkennung

Anomalieerkennung findet Datenpunkte, Ereignisse oder Muster, die deutlich vom Üblichen abweichen. Das können ungewöhnlich hohe Buchungen, plötzliche Sprünge in Sensorwerten, doppelte Datensätze oder auffälliges Verhalten im Netzwerk sein. Eingesetzt wird sie in Finanzwesen, IT-Sicherheit, Produktion und Qualitätskontrolle. Verfahren reichen von einfachen statistischen Grenzwerten bis zu lernenden Modellen; Treffer sind Hinweise, die ein Mensch bewerten sollte.

Datenanalyse
Qualitätskontrolle
+1

Vorlage

LLM-Sicherheit

LLM-Sicherheit umfasst alle Maßnahmen, die Anwendungen mit großen Sprachmodellen vor Missbrauch, Datenabfluss und Fehlverhalten schützen. Typische Risiken sind Prompt-Injektion, die Preisgabe vertraulicher Anweisungen oder Daten und zu weitreichende Befugnisse von Agenten. Schutz entsteht aus mehreren Ebenen: klare Anweisungen, eingeschränkte Rechte, Prüfung von Ein- und Ausgaben, KI-Firewalls, Red Teaming und regelmäßige Audits.

Sicherheit
Sprachmodelle
+1

Vorlage

KI-Penetrationstest

Ein KI-Penetrationstest ist eine beauftragte, kontrollierte Sicherheitsprüfung, bei der Fachleute ein KI-System gezielt auf Schwachstellen untersuchen – etwa auf Prompt-Injektion, das Preisgeben vertraulicher Daten oder zu weitreichende Zugriffsrechte eines Agenten. Anders als beim breiter angelegten Red Teaming steht ein klar abgegrenzter Prüfumfang mit dokumentierten Befunden und Gegenmaßnahmen im Vordergrund. Sinnvoll ist ein solcher Test vor dem Livegang eines Chatbots und nach größeren Änderungen.

Sicherheit
Prüfung
+1

Vorlage

AI Red Teaming

AI Red Teaming ist die strukturierte Prüfung eines KI-Systems aus Sicht möglicher Angreifer oder Fehlnutzer. Fachleute testen kontrolliert, ob ein Chatbot vertrauliche Anweisungen preisgibt, sich zu unerwünschtem Verhalten verleiten lässt, falsche Fakten liefert oder Daten offenlegt. Die Ergebnisse fließen in bessere Anweisungen, Filter und Berechtigungen ein. Ein Chatbot-Sicherheitsaudit ist eine leichtere Form davon: Es bewertet Konfiguration und Beispielgespräche entlang bekannter Risikobereiche wie der OWASP Top 10 für LLM-Anwendungen.

KI-Sicherheit
Sicherheitstest
+1

Vorlage