Sanasto

Vahvistusoppiminen ihmispalautteesta (RLHF)

Mikä on Vahvistusoppiminen ihmispalautteesta (RLHF)?

RLHF on opetusmenetelmä, joka tekee kielimalleista avuliaampia ja turvallisempia. Ihmiset vertailevat ja arvioivat mallin useita vastauksia; näiden arvioiden avulla opetetaan palkkiomalli, joka puolestaan opettaa kielimallia edelleen vahvistusoppimisella. Näin se oppii esimerkiksi vastaamaan selkeämmin tai kieltäytymään ongelmallisista pyynnöistä. RLHF tehdään mallin tarjoajalla ennen mallin julkaisua – ei yksittäisten käyttäjien kanssa.

Miten KI.ordo auttaa

KI.ordon 👍/👎-arviot eivät opeta mallia uudelleen; ne osoittavat, missä agentin tietämystä tai kehotetta pitäisi parantaa.

Lue lisää

Aiheet

koulutus
ihmispalaute
kielimallit

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

Vahvistusoppiminen (RL)

Vahvistusoppiminen on koneoppimisen osa-alue, jossa agentti oppii yrityksen ja erehdyksen kautta. Se toimii ympäristössä, saa palkkioita hyvistä tuloksista ja rangaistuksia huonoista ja kehittää näin strategian, joka maksimoi sen kokonaispalkkion. Tunnettuja esimerkkejä ovat ohjelmat, jotka hallitsevat lautapelejä, kuten gon, robottien ohjaus ja kielimallien hienosäätö ihmisten arvioiden perusteella.

oppimismenetelmä
palkkio
+1

Instruction Tuning

Ohjeistusviritys (instruction tuning) on hienosäädön muoto, jossa esikoulutettua kielimallia koulutetaan edelleen monilla ohje–toivottu vastaus -pareilla. Tämä opettaa mallin noudattamaan luonnollisella kielellä muotoiltuja tehtäviä sen sijaan, että se vain jatkaisi tekstiä. Se on keskeinen vaihe perusmallin muuttamisessa avustajaksi, ja sitä yhdistetään usein menetelmiin, kuten RLHF. Esimerkki: ”Tiivistä tämä teksti kolmeen lauseeseen” suoritetaan luotettavasti.

hienosäätö
kielimallit
+1

Konstitutionaalinen tekoäly (Constitutional AI)

Constitutional AI on Anthropicin vuonna 2022 julkaisema kielimallien koulutusmenetelmä; sillä ei ole mitään tekemistä valtiosääntöoikeuden kanssa. Se perustuu kirjalliseen periaatekokoelmaan, ”perustuslakiin”: malli arvioi kriittisesti ja muokkaa omia vastauksiaan näiden periaatteiden mukaisesti, sitten tekoäly vertaa vastauspareja, ja tämä palaute toimii palkintosignaalina vahvistusoppimisessa (RLAIF). Tämä vähentää tarvetta ihmisten tekemään haitallisen sisällön merkitsemiseen; tammikuussa 2026 Anthropic julkaisi Claudelle uudistetun perustuslain.

Training
tekoälyn turvallisuus
+1

hienosäätö

Hienosäätö tarkoittaa jo esikoulutetun tekoälymallin jatkokoulutusta lisädatalla, joka on yleensä tehtäväkohtaista. Sen sisäisiä painoja säädetään, jotta malli hallitsee esimerkiksi tietyn kirjoitustyylin, erikoissanaston tai tulostusmuodon luotettavammin. Hienosäätö vaatii huolellisesti valmisteltua esimerkkidataa, laskentatehoa ja testausta. Moneen käyttötarkoitukseen riittävät hyvin kirjoitetut ohjeet ja liitetty tietämys, ja niitä on helpompi muuttaa.

mallin koulutus
Mukauttaminen
+1