Q-learning er en grundlæggende reinforcement learning-metode. En agent lærer ved at prøve sig frem, hvilken langsigtet værdi (»Q-værdien«) en bestemt handling har i en bestemt situation, og vælger med tiden de mest lovende handlinger. Den behøver ikke en model af sit miljø til det. Kombineret med neurale netværk (deep Q-learning) brugte et system fra DeepMind denne tilgang til at lære at spille mange Atari-videospil alene ud fra skærmens pixels.
Reinforcement learning er en gren af machine learning, hvor en agent lærer ved at prøve sig frem. Den handler i et miljø, får belønninger for gode udfald og straf for dårlige og udvikler på den måde en strategi, der maksimerer dens samlede belønning. Kendte eksempler er programmer, der mestrer brætspil som Go, robotstyring og fine-tuning af sprogmodeller på baggrund af menneskelige vurderinger.
RLHF er en træningsmetode, der gør sprogmodeller mere hjælpsomme og sikrere. Mennesker sammenligner og bedømmer flere af modellens svar; disse vurderinger bruges til at træne en belønningsmodel, som derefter træner selve sprogmodellen videre gennem reinforcement learning. Det lærer den f.eks. at svare mere klart eller at afvise problematiske forespørgsler. RLHF foregår hos modeludbyderen, før en model udgives – ikke hos de enkelte brugere.
Monte Carlo-metoder er beregningsteknikker, der bruger et meget stort antal tilfældige stikprøver til at tilnærme resultater, som er svære at beregne analytisk. Et system simuleres tusindvis af gange med tilfældigt varierede forudsætninger, og fordelingen af udfaldene analyseres. Organisationer bruger det til risikoanalyse, projektplanlægning eller porteføljevurdering. Inden for AI bruges metoderne bl.a. i reinforcement learning og i træsøgning til spil.
Kunstige neurale netværk (ANN'er) er beregningsmodeller bestående af mange forbundne enheder (»neuroner«) arrangeret i lag, som behandler input via vægtede forbindelser. Under træning justeres vægtene trin for trin ud fra eksempler, som regel ved backpropagation. ANN'er er fundamentet for deep learning og driver billedgenkendelse, talegenkendelse og store sprogmodeller. På trods af den biologiske inspiration fungerer de langt mere enkelt end den menneskelige hjerne.
