Sõnastik

Stiimulõpe inimese tagasisidest (RLHF)

Mis on Stiimulõpe inimese tagasisidest (RLHF)?

RLHF on treeningmeetod, mis muudab keelemudelid kasulikumaks ja turvalisemaks. Inimesed võrdlevad ja hindavad mudeli mitut vastust; neid hinnanguid kasutatakse tasumudeli treenimiseks, mis seejärel treenib stiimulõppe abil edasi keelemudelit ennast. See õpetab mudelit näiteks vastama selgemalt või keelduma problemaatilistest päringutest. RLHF toimub mudelipakkuja juures enne mudeli avaldamist – mitte üksikute kasutajatega.

Kuidas KI.ordo aitab

KI.ordo 👍/👎 hinnangud ei treeni mudelit ümber; need näitavad, kus tuleks agendi teadmisi või juhiseid parandada.

Loe lähemalt

Teemad

treenimine
inimese tagasiside
keelemudelid

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot

← Kõik terminid

Seotud terminid

Stiimulõpe (RL)

Stiimulõpe on masinõppe haru, kus agent õpib katse-eksituse meetodil. Ta tegutseb keskkonnas, saab hea tulemuse eest tasu ja halva eest karistuse ning arendab nii strateegia, mis maksimeerib tema kogutasu. Tuntud näited on programmid, mis valdavad lauamänge, nagu go, robotite juhtimine ja keelemudelite peenhäälestus inimeste hinnangute alusel.

õppemeetod
tasu
+1

Instruction Tuning

Juhistega häälestamine (instruction tuning) on peenhäälestuse vorm, kus eeltreenitud keelemudelit treenitakse edasi paljude juhiste ja soovitud vastuste paaridega. See õpetab mudelit järgima loomulikus keeles sõnastatud ülesandeid, mitte lihtsalt teksti jätkama. See on oluline samm baasmudeli muutmisel assistendiks ja seda kombineeritakse sageli selliste meetoditega nagu RLHF. Näide: „Võta see tekst kolme lausega kokku“ täidetakse usaldusväärselt.

Peenhäälestus
Keelemudelid
+1

Põhiseaduslik TI (Constitutional AI)

Constitutional AI on Anthropicu 2022. aastal avaldatud keelemudelite treenimismeetod; sellel pole põhiseaduse õigusega mingit pistmist. See põhineb kirjalikul põhimõtete kogumil, „põhiseadusel“: mudel kritiseerib ja redigeerib oma vastuseid nende põhimõtete alusel, seejärel võrdleb TI vastuste paare ning see tagasiside on tugevdusõppe preemiasignaal (RLAIF). See vähendab vajadust kahjuliku sisu inimmärgendamise järele; 2026. aasta jaanuaris avaldas Anthropic Claude'i jaoks uuendatud põhiseaduse.

Training
TI ohutus
+1

Peenhäälestus

Peenhäälestus (fine-tuning) tähendab juba eeltreenitud TI-mudeli edasitreenimist täiendavate, tavaliselt ülesandespetsiifiliste andmetega. Mudeli sisemisi kaalusid kohandatakse nii, et see tuleb näiteks kindla kirjutusstiili, erialasõnavara või väljundivorminguga usaldusväärsemalt toime. Peenhäälestus nõuab hoolikalt ette valmistatud näiteandmeid, arvutusvõimsust ja testimist. Paljude rakenduste jaoks piisab hästi kirjutatud juhistest ja ühendatud teadmistest ning neid on lihtsam muuta.

Mudeli treenimine
Kohandamine
+1