Ordlista

Förstärkningsinlärning från mänsklig återkoppling (RLHF)

Vad är Förstärkningsinlärning från mänsklig återkoppling (RLHF)?

RLHF är en träningsmetod som gör språkmodeller mer hjälpsamma och säkrare. Människor jämför och betygsätter flera av modellens svar; dessa bedömningar används för att träna en belöningsmodell, som sedan tränar själva språkmodellen vidare genom förstärkningsinlärning. På så sätt lär den sig till exempel att svara tydligare eller att avböja problematiska förfrågningar. RLHF sker hos modellleverantören innan en modell släpps – inte hos enskilda användare.

Så hjälper KI.ordo

Betygen 👍/👎 i KI.ordo tränar inte om modellen; de visar var en agents kunskap eller instruktioner bör förbättras.

Läs mer

Ämnen

träning
mänsklig återkoppling
språkmodeller

Prova KI.ordo

Agenter, flöden och mallar i en arbetsyta – gratis demo i 24 timmar.

Starta demo

← Alla begrepp

Relaterade begrepp

Förstärkningsinlärning (RL)

Förstärkningsinlärning är en gren av maskininlärning där en agent lär sig genom att prova sig fram. Den agerar i en miljö, får belöningar för bra utfall och straff för dåliga, och utvecklar på så sätt en strategi som maximerar den samlade belöningen. Kända exempel är program som bemästrar brädspel som Go, robotstyrning och finjustering av språkmodeller utifrån mänskliga omdömen.

inlärningsmetod
belöning
+1

Instruction Tuning

Instruktionsträning (instruction tuning) är en form av finjustering där en förtränad språkmodell tränas vidare på många par av instruktioner och önskade svar. Det lär modellen att följa uppgifter formulerade på naturligt språk i stället för att bara fortsätta en text. Det är ett viktigt steg för att göra en basmodell till en assistent och kombineras ofta med metoder som RLHF. Exempel: ”Sammanfatta den här texten i tre meningar” utförs tillförlitligt.

Finjustering
Språkmodeller
+1

Constitutional AI

Constitutional AI är en träningsmetod för språkmodeller som Anthropic publicerade 2022; den har inget med konstitutionell rätt att göra. Den bygger på en skriftlig uppsättning principer, ”konstitutionen”: modellen kritiserar och reviderar sina egna svar mot dessa principer, därefter jämför en AI par av svar, och denna återkoppling fungerar som belöningssignal för förstärkningsinlärning (RLAIF). Det minskar behovet av mänsklig annotering av skadligt innehåll; i januari 2026 publicerade Anthropic en reviderad konstitution för Claude.

Training
AI-säkerhet
+1

Finjustering

Finjustering innebär att en redan förtränad AI-modell tränas vidare på ytterligare, vanligtvis uppgiftsspecifika data. Modellens interna vikter justeras så att den till exempel hanterar en viss skrivstil, ett visst fackspråk eller ett visst utdataformat mer tillförlitligt. Finjustering kräver noggrant förberedda exempeldata, beräkningskraft och tester. För många tillämpningar räcker väl formulerade instruktioner och ansluten kunskap, och de är lättare att ändra.

Modellträning
Anpassning
+1