Förstärkningsinlärning är en gren av maskininlärning där en agent lär sig genom att prova sig fram. Den agerar i en miljö, får belöningar för bra utfall och straff för dåliga, och utvecklar på så sätt en strategi som maximerar den samlade belöningen. Kända exempel är program som bemästrar brädspel som Go, robotstyrning och finjustering av språkmodeller utifrån mänskliga omdömen.
Q-learning är en grundläggande metod inom förstärkningsinlärning. En agent lär sig genom att prova sig fram vilket långsiktigt värde (”Q-värdet”) en viss handling har i en viss situation, och väljer med tiden de mest lovande handlingarna. Den behöver ingen modell av sin omgivning för detta. I kombination med neurala nätverk (deep Q-learning) använde ett system från DeepMind detta angreppssätt för att lära sig spela många Atari-videospel enbart utifrån pixlarna på skärmen.
RLHF är en träningsmetod som gör språkmodeller mer hjälpsamma och säkrare. Människor jämför och betygsätter flera av modellens svar; dessa bedömningar används för att träna en belöningsmodell, som sedan tränar själva språkmodellen vidare genom förstärkningsinlärning. På så sätt lär den sig till exempel att svara tydligare eller att avböja problematiska förfrågningar. RLHF sker hos modellleverantören innan en modell släpps – inte hos enskilda användare.
Vid övervakad inlärning lär sig en modell av exempel där det rätta svaret redan är känt, som e-postmeddelanden märkta ”spam” eller ”inte spam”. Utifrån dem härleder den regler för att klassificera nya, osedda fall eller förutsäga värden. Typiska uppgifter är klassificering och regression; det mesta av arbetet går åt till att skapa rent märkta data.
Vid oövervakad inlärning får en modell data utan fördefinierade rätta svar och söker själv efter strukturer. Typiska metoder är klustring, som grupperar liknande poster, och dimensionsreduktion, som sammanfattar många särdrag till några få väsentliga. Organisationer använder det för att upptäcka kundsegment eller se ovanliga transaktioner; de grupper som hittas måste sedan tolkas av ämnesexperter.
