Reinforcement learning is een tak van machine learning waarin een agent leert door vallen en opstaan. Hij handelt binnen een omgeving, krijgt beloningen voor goede uitkomsten en straffen voor slechte, en ontwikkelt zo een strategie die de totale beloning maximaliseert. Bekende voorbeelden zijn programma’s die bordspellen als Go beheersen, de besturing van robots en het finetunen van taalmodellen op basis van menselijke beoordelingen.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenQ-learning is een fundamentele methode binnen reinforcement learning. Een agent leert al doende, door vallen en opstaan, welke waarde op lange termijn (de “Q-waarde”) een bepaalde actie in een bepaalde situatie heeft, en kiest na verloop van tijd de meest veelbelovende acties. Daarvoor is geen model van de omgeving nodig. In combinatie met neurale netwerken (deep Q-learning) leerde een systeem van DeepMind op deze manier veel Atari-videogames spelen, uitsluitend op basis van de pixels op het scherm.
RLHF is een trainingsmethode die taalmodellen behulpzamer en veiliger maakt. Mensen vergelijken en beoordelen meerdere antwoorden van het model; met die oordelen wordt een beloningsmodel getraind, dat het taalmodel zelf vervolgens via reinforcement learning verder traint. Zo leert het bijvoorbeeld duidelijker te antwoorden of problematische verzoeken te weigeren. RLHF vindt plaats bij de aanbieder van het model voordat een model wordt uitgebracht – niet bij individuele gebruikers.
Bij gesuperviseerd leren leert een model van voorbeelden waarvan het juiste antwoord al bekend is, zoals e-mails die als “spam” of “geen spam” zijn gelabeld. Daaruit leidt het regels af om nieuwe, onbekende gevallen te classificeren of waarden te voorspellen. Typische taken zijn classificatie en regressie; het meeste werk zit in het maken van zuiver gelabelde gegevens.
Bij niet-gesuperviseerd leren krijgt een model gegevens zonder vooraf bepaalde juiste antwoorden en zoekt het zelf naar structuren. Typische methoden zijn clustering, dat vergelijkbare records groepeert, en dimensiereductie, die veel features terugbrengt tot een paar essentiële. Organisaties gebruiken het om klantsegmenten te ontdekken of ongebruikelijke transacties op te sporen; de gevonden groepen moeten daarna door vakexperts worden geïnterpreteerd.
