LV
PieteiktiesSākt tagad
Glosārijs

Pastiprinātā mācīšanās no cilvēka atgriezeniskās saites (RLHF)

Kas ir Pastiprinātā mācīšanās no cilvēka atgriezeniskās saites (RLHF)?

RLHF ir apmācības metode, kas valodas modeļus padara noderīgākus un drošākus. Cilvēki salīdzina un vērtē vairākas modeļa atbildes; šos vērtējumus izmanto, lai apmācītu atlīdzības modeli, kas ar pastiprināto mācīšanos tālāk apmāca pašu valodas modeli. Tā tas, piemēram, iemācās atbildēt skaidrāk vai noraidīt problemātiskus pieprasījumus. RLHF notiek pie modeļa pakalpojumu sniedzēja pirms modeļa izlaišanas — nevis pie atsevišķiem lietotājiem.

Kā palīdz KI.ordo

KI.ordo vērtējumi 👍/👎 modeli neapmāca atkārtoti; tie parāda, kur būtu jāuzlabo aģenta zināšanas vai norādījumi.

Uzzināt vairāk : Pastiprinātā mācīšanās no cilvēka atgriezeniskās saites (RLHF)

Tēmas

  • apmācība
  • cilvēka atgriezeniskā saite
  • valodas modeļi

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo
← Visi termini

Saistītie termini

Pastiprinātā mācīšanās (RL)

Pastiprinātā mācīšanās ir mašīnmācīšanās nozare, kurā aģents mācās ar izmēģinājumu un kļūdu metodi. Tas darbojas vidē, saņem atlīdzību par labiem rezultātiem un sodus par sliktiem un tādā veidā izstrādā stratēģiju, kas maksimizē tā kopējo atlīdzību. Pazīstami piemēri ir programmas, kas apgūst galda spēles, piemēram, go, robotu vadība un valodas modeļu precizēšana, balstoties uz cilvēku vērtējumiem.

  • mācīšanās metode
  • atlīdzība
  • +1

Instruction Tuning

Norādījumu pielāgošana (instruction tuning) ir pielāgošanas (fine-tuning) forma, kurā iepriekš apmācīts valodas modelis tiek tālāk apmācīts ar daudziem norādījumu un vēlamo atbilžu pāriem. Tas modeli māca izpildīt dabiskā valodā formulētus uzdevumus, nevis tikai turpināt tekstu. Tas ir svarīgs solis, pārvēršot bāzes modeli par asistentu, un to bieži apvieno ar tādām metodēm kā RLHF. Piemērs: „Apkopo šo tekstu trīs teikumos” tiek izpildīts droši.

  • Pielāgošana (fine-tuning)
  • Valodas modeļi
  • +1

Konstitucionālais MI (Constitutional AI)

Konstitucionālais MI ir Anthropic 2022. gadā publicēta valodas modeļu apmācības metode; tai nav sakara ar konstitucionālajām tiesībām. Tā balstās uz rakstisku principu kopumu, „konstitūciju”: modelis kritizē un pārstrādā savas atbildes pret šiem principiem, pēc tam MI salīdzina atbilžu pārus, un šī atgriezeniskā saite kalpo kā atlīdzības signāls pastiprinātajai mācīšanai (RLAIF). Tas mazina nepieciešamību pēc cilvēku veiktas kaitīga satura marķēšanas; 2026. gada janvārī Anthropic publicēja pārskatītu konstitūciju Claude modelim.

  • Training
  • MI drošība
  • +1

Pielāgošana (fine-tuning)

Pielāgošana (fine-tuning) nozīmē jau iepriekš apmācīta MI modeļa tālāku apmācību ar papildu, parasti konkrētam uzdevumam paredzētiem datiem. Tā iekšējie svari tiek pielāgoti, lai modelis drošāk apstrādātu, piemēram, noteiktu rakstības stilu, nozares leksiku vai izvades formātu. Pielāgošanai nepieciešami rūpīgi sagatavoti piemēru dati, skaitļošanas jauda un testēšana. Daudzām lietojumprogrammām pietiek ar labi uzrakstītiem norādījumiem un pieslēgtām zināšanām, un tos ir vieglāk mainīt.

  • Modeļu apmācība
  • Pielāgošana
  • +1