DA
Log indKom i gang
Ordliste

Reinforcement learning from human feedback (RLHF)

Hvad er Reinforcement learning from human feedback (RLHF)?

RLHF er en træningsmetode, der gør sprogmodeller mere hjælpsomme og sikrere. Mennesker sammenligner og bedømmer flere af modellens svar; disse vurderinger bruges til at træne en belønningsmodel, som derefter træner selve sprogmodellen videre gennem reinforcement learning. Det lærer den f.eks. at svare mere klart eller at afvise problematiske forespørgsler. RLHF foregår hos modeludbyderen, før en model udgives – ikke hos de enkelte brugere.

Sådan hjælper KI.ordo

Vurderingerne med 👍/👎 i KI.ordo gentræner ikke modellen; de viser, hvor en agents viden eller instruktioner bør forbedres.

Læs mere : Reinforcement learning from human feedback (RLHF)

Emner

  • træning
  • menneskelig feedback
  • sprogmodeller

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo
← Alle begreber

Relaterede begreber

Reinforcement learning (RL)

Reinforcement learning er en gren af machine learning, hvor en agent lærer ved at prøve sig frem. Den handler i et miljø, får belønninger for gode udfald og straf for dårlige og udvikler på den måde en strategi, der maksimerer dens samlede belønning. Kendte eksempler er programmer, der mestrer brætspil som Go, robotstyring og fine-tuning af sprogmodeller på baggrund af menneskelige vurderinger.

  • læringsmetode
  • belønning
  • +1

Instruction Tuning

Instruktionstuning (instruction tuning) er en form for finjustering, hvor en fortrænet sprogmodel trænes videre på mange par af instruktioner og ønskede svar. Det lærer modellen at følge opgaver formuleret i naturligt sprog i stedet for blot at fortsætte tekst. Det er et vigtigt trin i at gøre en basismodel til en assistent og kombineres ofte med metoder som RLHF. Eksempel: 'Opsummér denne tekst i tre sætninger' udføres pålideligt.

  • Finjustering
  • Sprogmodeller
  • +1

Constitutional AI

Constitutional AI er en træningsmetode til sprogmodeller, som Anthropic offentliggjorde i 2022; den har intet med forfatningsret at gøre. Den bygger på et skriftligt sæt principper, »forfatningen« (constitution): Modellen kritiserer og reviderer sine egne svar ud fra disse principper, derefter sammenligner en AI par af svar, og denne feedback bruges som belønningssignal til reinforcement learning (RLAIF). Det mindsker behovet for menneskelig mærkning af skadeligt indhold; i januar 2026 offentliggjorde Anthropic en revideret forfatning for Claude.

  • Training
  • AI-sikkerhed
  • +1

Finjustering

Finjustering (fine-tuning) betyder at videretræne en allerede fortrænet AI-model på yderligere, som regel opgavespecifikke data. Dens interne vægte justeres, så modellen f.eks. håndterer en bestemt skrivestil, fagterminologi eller outputformat mere pålideligt. Finjustering kræver omhyggeligt forberedte eksempeldata, regnekraft og test. Til mange anvendelser er velskrevne instruktioner og tilknyttet viden tilstrækkeligt og lettere at ændre.

  • Modeltræning
  • Tilpasning
  • +1