SL
PrijavaZačnite zdaj
Slovar pojmov

Spodbujevalno učenje s človeško povratno informacijo (RLHF)

Kaj je Spodbujevalno učenje s človeško povratno informacijo (RLHF)?

RLHF je učna metoda, ki jezikovne modele naredi bolj koristne in varnejše. Ljudje primerjajo in ocenijo več odgovorov modela; iz teh presoj se nauči model nagrajevanja, ki nato jezikovni model samega s spodbujevalnim učenjem dodatno uči. Tako se na primer nauči odgovarjati jasneje ali zavrniti sporne zahteve. RLHF poteka pri ponudniku modela, preden je model objavljen – ne pri posameznih uporabnikih.

Kako pomaga KI.ordo

Ocene 👍/👎 v KI.ordo modela ne učijo znova; pokažejo, kje je treba izboljšati znanje ali navodila agenta.

Več o tem : Spodbujevalno učenje s človeško povratno informacijo (RLHF)

Teme

  • učenje
  • človeška povratna informacija
  • jezikovni modeli

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev
← Vsi pojmi

Sorodni pojmi

Spodbujevalno učenje (RL)

Spodbujevalno učenje je veja strojnega učenja, pri kateri se agent uči s poskusi in napakami. Deluje v okolju, za dobre izide prejema nagrade, za slabe pa kazni, in tako razvije strategijo, ki največ poveča njegovo skupno nagrado. Znani primeri so programi, ki obvladajo družabne igre, kot je go, vodenje robotov in natančno uravnavanje jezikovnih modelov na podlagi človeških ocen.

  • učna metoda
  • nagrada
  • +1

Instruction Tuning

Učenje z navodili (instruction tuning) je oblika finega uravnavanja, pri kateri se vnaprej naučen jezikovni model dodatno uči na številnih parih navodil in želenih odgovorov. Tako se model nauči upoštevati naloge, zapisane v naravnem jeziku, namesto da bi besedilo le nadaljeval. Je ključni korak pri pretvorbi osnovnega modela v pomočnika in se pogosto združuje z metodami, kot je RLHF. Primer: „Povzemi to besedilo v treh stavkih“ se izvede zanesljivo.

  • Fino uravnavanje
  • Jezikovni modeli
  • +1

Ustavna UI (Constitutional AI)

Ustavna UI (Constitutional AI) je metoda učenja jezikovnih modelov, ki jo je Anthropic objavil leta 2022; z ustavnim pravom nima nič skupnega. Temelji na zapisanem naboru načel, „ustavi“: model sam kritizira in popravlja svoje odgovore glede na ta načela, nato UI primerja pare odgovorov, ta povratna informacija pa služi kot signal nagrajevanja pri spodbujevalnem učenju (RLAIF). To zmanjšuje potrebo po človeškem označevanju škodljivih vsebin; januarja 2026 je Anthropic objavil prenovljeno ustavo za Claude.

  • Training
  • varnost UI
  • +1

Fino uravnavanje

Fino uravnavanje (fine-tuning) pomeni nadaljnje učenje že vnaprej naučenega modela UI na dodatnih, običajno nalogi prilagojenih podatkih. Njegove notranje uteži se prilagodijo, tako da model zanesljiveje obvlada na primer določen slog pisanja, strokovno besedišče ali obliko izpisa. Fino uravnavanje zahteva skrbno pripravljene vzorčne podatke, računsko moč in preizkušanje. Za številne aplikacije zadostujejo dobro napisana navodila in povezano znanje, ki ju je tudi laže spreminjati.

  • Učenje modela
  • Prilagajanje
  • +1