Terminų žodynas

Skatinamasis mokymasis iš žmogaus grįžtamojo ryšio (RLHF)

Kas yra Skatinamasis mokymasis iš žmogaus grįžtamojo ryšio (RLHF)?

RLHF – mokymo metodas, daro kalbos modelius naudingesnius ir saugesnius. Žmonės palygina ir įvertina kelis modelio atsakymus; šie vertinimai naudojami atlygio modeliui apmokyti, kuris paskui skatinamuoju mokymusi toliau moko patį kalbos modelį. Taip jis išmoksta, pavyzdžiui, atsakyti aiškiau arba atsisakyti problemiškų prašymų. RLHF vyksta pas modelio tiekėją prieš išleidžiant modelį – o ne su atskirais naudotojais.

Kaip padeda KI.ordo

KI.ordo vertinimai 👍/👎 modelio nepermoko; jie parodo, kur reikėtų tobulinti agento žinias ar nurodymus.

Sužinoti daugiau

Temos

mokymas
žmogaus grįžtamasis ryšys
kalbos modeliai

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją

← Visi terminai

Susiję terminai

Skatinamasis mokymasis (RL)

Skatinamasis mokymasis – mašininio mokymosi šaka, kurioje agentas mokosi bandymų ir klaidų keliu. Jis veikia aplinkoje, už gerus rezultatus gauna atlygį, o už blogus – baudas, ir taip išugdo strategiją, maksimizuojančią bendrą atlygį. Žinomi pavyzdžiai: programos, įvaldančios stalo žaidimus, tokius kaip Go, robotų valdymas ir kalbos modelių tikslinimas pagal žmonių vertinimus.

mokymosi metodas
atlygis
+1

Instruction Tuning

Nurodymų derinimas (instruction tuning) – tai tikslinio derinimo forma, kai iš anksto apmokytas kalbos modelis toliau mokomas su daugybe nurodymų ir pageidaujamų atsakymų porų. Taip modelis išmoksta vykdyti natūralia kalba suformuluotas užduotis, o ne vien tęsti tekstą. Tai pagrindinis žingsnis bazinį modelį paverčiant asistentu, ir dažnai derinamas su tokiais metodais kaip RLHF. Pavyzdys: nurodymas „Apibendrink šį tekstą trimis sakiniais“ įvykdomas patikimai.

tikslinis derinimas (fine-tuning)
kalbos modeliai
+1

Konstitucinis DI (Constitutional AI)

Konstitucinis DI – tai kalbos modelių mokymo metodas, kurį 2022 m. paskelbė „Anthropic“; jis neturi nieko bendra su konstitucine teise. Jis grindžiamas raštišku principų rinkiniu, „konstitucija“: modelis kritikuoja ir taiso savo atsakymus pagal šiuos principus, tada DI lygina atsakymų poras, o ši grįžtamoji informacija tampa atlygio signalu sustiprintam mokymuisi (RLAIF). Tai sumažina poreikį žmonėms žymėti žalingą turinį; 2026 m. sausį „Anthropic“ paskelbė peržiūrėtą „Claude“ konstituciją.

Training
DI sauga
+1

tikslinis derinimas (fine-tuning)

Tikslinis derinimas (fine-tuning) reiškia jau iš anksto apmokyto DI modelio tolesnį mokymą papildomais, paprastai konkrečiai užduočiai skirtais duomenimis. Koreguojami jo vidiniai svoriai, kad modelis patikimiau tvarkytų, pavyzdžiui, tam tikrą rašymo stilių, specialią leksiką ar išvesties formatą. Tikslinis derinimas reikalauja kruopščiai paruoštų pavyzdinių duomenų, skaičiavimo galios ir testavimo. Daugeliui taikymų pakanka gerai parašytų nurodymų ir prijungtų žinių, ir juos lengviau keisti.

modelių mokymas
pritaikymas
+1