Q-learning är en grundläggande metod inom förstärkningsinlärning. En agent lär sig genom att prova sig fram vilket långsiktigt värde (”Q-värdet”) en viss handling har i en viss situation, och väljer med tiden de mest lovande handlingarna. Den behöver ingen modell av sin omgivning för detta. I kombination med neurala nätverk (deep Q-learning) använde ett system från DeepMind detta angreppssätt för att lära sig spela många Atari-videospel enbart utifrån pixlarna på skärmen.
Förstärkningsinlärning är en gren av maskininlärning där en agent lär sig genom att prova sig fram. Den agerar i en miljö, får belöningar för bra utfall och straff för dåliga, och utvecklar på så sätt en strategi som maximerar den samlade belöningen. Kända exempel är program som bemästrar brädspel som Go, robotstyrning och finjustering av språkmodeller utifrån mänskliga omdömen.
RLHF är en träningsmetod som gör språkmodeller mer hjälpsamma och säkrare. Människor jämför och betygsätter flera av modellens svar; dessa bedömningar används för att träna en belöningsmodell, som sedan tränar själva språkmodellen vidare genom förstärkningsinlärning. På så sätt lär den sig till exempel att svara tydligare eller att avböja problematiska förfrågningar. RLHF sker hos modellleverantören innan en modell släpps – inte hos enskilda användare.
Monte Carlo-metoder är beräkningstekniker som använder ett mycket stort antal slumpmässiga stickprov för att approximera resultat som är svåra att räkna ut analytiskt. Ett system simuleras tusentals gånger med slumpmässigt varierade antaganden, och fördelningen av utfallen analyseras. Organisationer använder detta för riskanalys, projektplanering eller portföljvärdering. Inom AI används metoderna bland annat i förstärkningsinlärning och i trädsökning för spel.
Artificiella neurala nätverk (ANN) är beräkningsmodeller som består av många sammankopplade enheter (”neuroner”) ordnade i lager som bearbetar indata via viktade förbindelser. Under träningen justeras vikterna steg för steg med hjälp av exempel, vanligtvis genom backpropagation. ANN är grunden för djupinlärning och driver bildigenkänning, taligenkänning och stora språkmodeller. Trots sin biologiska inspiration fungerar de betydligt enklare än den mänskliga hjärnan.
