Pojmovnik

Učenje podrškom na temelju ljudskih povratnih informacija (RLHF)

Što je Učenje podrškom na temelju ljudskih povratnih informacija (RLHF)?

RLHF je metoda treniranja koja jezične modele čini korisnijima i sigurnijima. Ljudi uspoređuju i ocjenjuju više odgovora modela; te se prosudbe koriste za treniranje modela nagrađivanja, koji zatim putem učenja podrškom dalje trenira sam jezični model. Tako se, primjerice, uči jasnije odgovarati ili odbijati problematične zahtjeve. RLHF se provodi kod pružatelja modela prije izlaska modela – ne kod pojedinačnih korisnika.

Kako KI.ordo pomaže

Ocjene 👍/👎 u KI.ordo ne treniraju model ponovno; pokazuju gdje bi trebalo poboljšati znanje ili upute agenta.

Saznajte više

Teme

treniranje
ljudske povratne informacije
jezični modeli

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo

← Svi pojmovi

Srodni pojmovi

Učenje podrškom (RL)

Učenje podrškom grana je strojnog učenja u kojoj agent uči metodom pokušaja i pogrešaka. Djeluje unutar okoline, dobiva nagrade za dobre ishode i kazne za loše te na taj način razvija strategiju koja maksimizira njegovu ukupnu nagradu. Poznati primjeri uključuju programe koji svladavaju društvene igre poput goa, upravljanje robotima i fino podešavanje jezičnih modela na temelju ljudskih ocjena.

metoda učenja
nagrada
+1

Instruction Tuning

Podešavanje prema uputama (instruction tuning) oblik je finog podešavanja u kojem se unaprijed treniran jezični model dalje trenira na mnogo parova uputa i željenih odgovora. Time model uči izvršavati zadatke formulirane prirodnim jezikom, a ne samo nastavljati tekst. To je ključni korak u pretvaranju osnovnog modela u asistenta i često se kombinira s metodama poput RLHF-a. Primjer: „Sažmi ovaj tekst u tri rečenice” izvršava se pouzdano.

Fino podešavanje
Jezični modeli
+1

Konstitucijska UI (Constitutional AI)

Konstitucijska UI (Constitutional AI) metoda je treniranja jezičnih modela koju je Anthropic objavio 2022.; nema veze s ustavnim pravom. Temelji se na pisanom skupu načela, „ustavu”: model kritizira i prerađuje vlastite odgovore prema tim načelima, zatim UI uspoređuje parove odgovora, a ta povratna informacija služi kao signal nagrade za podržano učenje (RLAIF). Time se smanjuje potreba za ljudskim označavanjem štetnog sadržaja; u siječnju 2026. Anthropic je objavio revidirani ustav za Claudea.

Training
sigurnost UI-ja
+1

Fino podešavanje

Fino podešavanje (fine-tuning) znači daljnje treniranje već unaprijed treniranog UI modela na dodatnim, obično zadatku prilagođenim podacima. Njegove unutarnje težine prilagođavaju se tako da model pouzdanije obrađuje, primjerice, određeni stil pisanja, stručni rječnik ili izlazni format. Fino podešavanje zahtijeva pažljivo pripremljene primjere podataka, računalnu snagu i testiranje. Za mnoge primjene dovoljne su dobro napisane upute i povezano znanje, koje je ujedno lakše mijenjati.

Treniranje modela
Prilagodba
+1