Q-Learning ist ein grundlegendes Verfahren des Reinforcement Learning. Ein Agent lernt durch Ausprobieren, welchen langfristigen Nutzen (den „Q-Wert“) eine bestimmte Aktion in einer bestimmten Situation hat, und wählt mit der Zeit die vielversprechendsten Aktionen. Ein Modell der Umgebung braucht er dafür nicht. Kombiniert mit neuronalen Netzen (Deep Q-Learning) lernte ein System von DeepMind so, zahlreiche Atari-Videospiele allein anhand der Bildschirmpixel zu spielen.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenReinforcement Learning (verstärkendes Lernen) ist ein Teilgebiet des maschinellen Lernens, bei dem ein Agent durch Versuch und Irrtum lernt. Er handelt in einer Umgebung, erhält für gute Ergebnisse Belohnungen und für schlechte Abzüge und entwickelt so eine Strategie, die den Gesamtnutzen maximiert. Bekannte Beispiele sind Programme, die Brettspiele wie Go meistern, Robotersteuerungen oder die Feinabstimmung von Sprachmodellen anhand menschlicher Bewertungen.
RLHF ist ein Trainingsverfahren, mit dem Sprachmodelle hilfreicher und sicherer werden. Menschen vergleichen und bewerten mehrere Antworten des Modells; aus diesen Urteilen wird ein Belohnungsmodell gelernt, das anschließend per Reinforcement Learning das Sprachmodell selbst nachtrainiert. So lernt es etwa, verständlicher zu antworten oder problematische Anfragen abzulehnen. RLHF findet beim Modellanbieter statt, bevor ein Modell veröffentlicht wird – nicht beim einzelnen Nutzer.
Monte-Carlo-Methoden sind Rechenverfahren, die mithilfe sehr vieler Zufallsstichproben Ergebnisse annähern, die sich analytisch kaum berechnen lassen. Man simuliert ein System tausendfach mit zufällig variierten Annahmen und wertet die Verteilung der Ergebnisse aus. Unternehmen nutzen das etwa für Risikoanalysen, Projektterminplanung oder Portfoliobewertung. In der KI kommen die Verfahren unter anderem beim bestärkenden Lernen und bei der Baumsuche in Spielen zum Einsatz.
Künstliche neuronale Netze (KNN) sind Rechenmodelle aus vielen verbundenen Einheiten („Neuronen“), die in Schichten angeordnet sind und Eingaben über gewichtete Verbindungen verarbeiten. Beim Training werden die Gewichte anhand von Beispielen schrittweise angepasst, meist per Backpropagation. KNN sind die Grundlage des Deep Learning und stecken in Bilderkennung, Spracherkennung und großen Sprachmodellen. Trotz des biologischen Vorbilds funktionieren sie deutlich einfacher als das menschliche Gehirn.
