Glossar

Reinforcement Learning from Human Feedback (RLHF)

Was ist Reinforcement Learning from Human Feedback (RLHF)?

RLHF ist ein Trainingsverfahren, mit dem Sprachmodelle hilfreicher und sicherer werden. Menschen vergleichen und bewerten mehrere Antworten des Modells; aus diesen Urteilen wird ein Belohnungsmodell gelernt, das anschließend per Reinforcement Learning das Sprachmodell selbst nachtrainiert. So lernt es etwa, verständlicher zu antworten oder problematische Anfragen abzulehnen. RLHF findet beim Modellanbieter statt, bevor ein Modell veröffentlicht wird – nicht beim einzelnen Nutzer.

So hilft KI.ordo

Die Bewertungen 👍/👎 in KI.ordo trainieren das Modell nicht nach, sondern zeigen, wo Wissen oder Anweisungen eines Agenten verbessert werden sollten.

Mehr erfahren →

Themen

Training
menschliches Feedback
Sprachmodelle

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Reinforcement Learning (RL)

Reinforcement Learning (verstärkendes Lernen) ist ein Teilgebiet des maschinellen Lernens, bei dem ein Agent durch Versuch und Irrtum lernt. Er handelt in einer Umgebung, erhält für gute Ergebnisse Belohnungen und für schlechte Abzüge und entwickelt so eine Strategie, die den Gesamtnutzen maximiert. Bekannte Beispiele sind Programme, die Brettspiele wie Go meistern, Robotersteuerungen oder die Feinabstimmung von Sprachmodellen anhand menschlicher Bewertungen.

Lernverfahren
Belohnung
+1

Instruction Tuning

Instruction Tuning ist eine Form der Feinabstimmung, bei der ein vortrainiertes Sprachmodell mit vielen Beispielpaaren aus Anweisung und gewünschter Antwort weitertrainiert wird. Dadurch lernt das Modell, Aufgaben in natürlicher Sprache zu befolgen, statt nur Text fortzusetzen. Es ist ein zentraler Schritt auf dem Weg vom Basismodell zum Assistenten und wird häufig mit Verfahren wie RLHF kombiniert. Beispiel: „Fasse diesen Text in drei Sätzen zusammen“ wird zuverlässig umgesetzt.

Feinabstimmung
Sprachmodelle
+1

Konstitutionelle KI

Konstitutionelle KI (Constitutional AI) ist eine 2022 von Anthropic veröffentlichte Trainingsmethode für Sprachmodelle – kein Begriff aus dem Verfassungsrecht. Grundlage ist ein schriftlicher Katalog von Grundsätzen, die „Verfassung“: Das Modell kritisiert und überarbeitet eigene Antworten anhand dieser Grundsätze, anschließend bewertet eine KI Antwortpaare, und diese Rückmeldungen dienen als Belohnungssignal im Reinforcement Learning (RLAIF). So sinkt der Bedarf an menschlicher Bewertung schädlicher Inhalte; Anthropic hat im Januar 2026 eine überarbeitete Verfassung für Claude veröffentlicht.

Training
KI-Sicherheit
+1

Feinabstimmung (Fine-Tuning)

Feinabstimmung (Fine-Tuning) bedeutet, ein bereits vortrainiertes KI-Modell mit zusätzlichen, meist aufgabenspezifischen Daten weiterzutrainieren. Dabei werden die internen Gewichte angepasst, damit das Modell etwa einen bestimmten Schreibstil, ein Fachvokabular oder ein Ausgabeformat zuverlässiger beherrscht. Fine-Tuning erfordert sorgfältig aufbereitete Beispieldaten, Rechenleistung und Tests. Für viele Anwendungen reichen gut formulierte Anweisungen und angebundenes Wissen aus, die sich leichter ändern lassen.

Modelltraining
Anpassung
+1