Reinforcement learning er en gren af machine learning, hvor en agent lærer ved at prøve sig frem. Den handler i et miljø, får belønninger for gode udfald og straf for dårlige og udvikler på den måde en strategi, der maksimerer dens samlede belønning. Kendte eksempler er programmer, der mestrer brætspil som Go, robotstyring og fine-tuning af sprogmodeller på baggrund af menneskelige vurderinger.
Q-learning er en grundlæggende reinforcement learning-metode. En agent lærer ved at prøve sig frem, hvilken langsigtet værdi (»Q-værdien«) en bestemt handling har i en bestemt situation, og vælger med tiden de mest lovende handlinger. Den behøver ikke en model af sit miljø til det. Kombineret med neurale netværk (deep Q-learning) brugte et system fra DeepMind denne tilgang til at lære at spille mange Atari-videospil alene ud fra skærmens pixels.
RLHF er en træningsmetode, der gør sprogmodeller mere hjælpsomme og sikrere. Mennesker sammenligner og bedømmer flere af modellens svar; disse vurderinger bruges til at træne en belønningsmodel, som derefter træner selve sprogmodellen videre gennem reinforcement learning. Det lærer den f.eks. at svare mere klart eller at afvise problematiske forespørgsler. RLHF foregår hos modeludbyderen, før en model udgives – ikke hos de enkelte brugere.
Ved supervised learning lærer en model af eksempler, hvor det rigtige svar allerede er kendt, f.eks. e-mails mærket »spam« eller »ikke spam«. Ud fra dem udleder den regler til at klassificere nye, usete tilfælde eller forudsige værdier. Typiske opgaver er klassifikation og regression; det meste af indsatsen går med at skabe rent mærkede data.
Ved unsupervised learning får en model data uden foruddefinerede rigtige svar og leder selv efter strukturer. Typiske metoder er clustering, som grupperer ensartede datasæt, og dimensionsreduktion, som komprimerer mange features til nogle få væsentlige. Organisationer bruger det til at opdage kundesegmenter eller spotte usædvanlige transaktioner; de fundne grupper skal derefter fortolkes af fagfolk.
