Glossar

Konstitutionelle KI

Was ist Konstitutionelle KI?

Konstitutionelle KI (Constitutional AI) ist eine 2022 von Anthropic veröffentlichte Trainingsmethode für Sprachmodelle – kein Begriff aus dem Verfassungsrecht. Grundlage ist ein schriftlicher Katalog von Grundsätzen, die „Verfassung“: Das Modell kritisiert und überarbeitet eigene Antworten anhand dieser Grundsätze, anschließend bewertet eine KI Antwortpaare, und diese Rückmeldungen dienen als Belohnungssignal im Reinforcement Learning (RLAIF). So sinkt der Bedarf an menschlicher Bewertung schädlicher Inhalte; Anthropic hat im Januar 2026 eine überarbeitete Verfassung für Claude veröffentlicht.

So hilft KI.ordo

Die in KI.ordo eingesetzten Claude-Modelle von Anthropic werden unter anderem mit diesem Verfahren trainiert.

Themen

Training
KI-Sicherheit
Anthropic

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Reinforcement Learning from Human Feedback (RLHF)

RLHF ist ein Trainingsverfahren, mit dem Sprachmodelle hilfreicher und sicherer werden. Menschen vergleichen und bewerten mehrere Antworten des Modells; aus diesen Urteilen wird ein Belohnungsmodell gelernt, das anschließend per Reinforcement Learning das Sprachmodell selbst nachtrainiert. So lernt es etwa, verständlicher zu antworten oder problematische Anfragen abzulehnen. RLHF findet beim Modellanbieter statt, bevor ein Modell veröffentlicht wird – nicht beim einzelnen Nutzer.

Training
menschliches Feedback
+1

Claude

Claude ist eine Familie großer Sprachmodelle des US-KI-Unternehmens Anthropic. Die Modelle verstehen und schreiben Texte in vielen Sprachen, werten Dokumente aus, programmieren und können Werkzeuge nutzen, etwa für Recherche oder Automatisierung. Bekannt sind vor allem die Modellfamilien Haiku, Sonnet und Opus, die sich in Geschwindigkeit, Kosten und Leistungsfähigkeit unterscheiden. Einen Schwerpunkt legt Anthropic auf Sicherheit und verlässliches Verhalten der Modelle.

Anthropic
Sprachmodell
+1

KI-Ethik

KI-Ethik befasst sich mit den moralischen Fragen rund um Entwicklung und Einsatz von KI: Fairness und Diskriminierung, Transparenz und Erklärbarkeit, Datenschutz, Verantwortung für Fehler, Sicherheit sowie Auswirkungen auf Arbeit und Gesellschaft. Für Organisationen wird sie konkret in Leitlinien, Risikoprüfungen, menschlicher Kontrolle und offener Kommunikation über die Grenzen von KI. Beispiel: Vor dem Einsatz eines Bewerbungsfilters wird geprüft, ob er bestimmte Gruppen benachteiligt.

Ethik
Verantwortung
+1

LLM-Sicherheit

LLM-Sicherheit umfasst alle Maßnahmen, die Anwendungen mit großen Sprachmodellen vor Missbrauch, Datenabfluss und Fehlverhalten schützen. Typische Risiken sind Prompt-Injektion, die Preisgabe vertraulicher Anweisungen oder Daten und zu weitreichende Befugnisse von Agenten. Schutz entsteht aus mehreren Ebenen: klare Anweisungen, eingeschränkte Rechte, Prüfung von Ein- und Ausgaben, KI-Firewalls, Red Teaming und regelmäßige Audits.

Sicherheit
Sprachmodelle
+1

Vorlage