Fogalomtár

Megerősítéses tanulás emberi visszajelzésből (RLHF)

Mi a(z) Megerősítéses tanulás emberi visszajelzésből (RLHF)?

Az RLHF olyan tanítási módszer, amely a nyelvi modelleket segítőkészebbé és biztonságosabbá teszi. Emberek összehasonlítják és értékelik a modell több válaszát; ezekből az ítéletekből jutalommodellt tanítanak, amely aztán megerősítéses tanulással tovább tanítja magát a nyelvi modellt. Így megtanulja például, hogy világosabban válaszoljon, vagy hogy elutasítsa a problémás kéréseket. Az RLHF a modell kiadása előtt, a modellszolgáltatónál zajlik – nem az egyes felhasználóknál.

Így segít a KI.ordo

A KI.ordo 👍/👎 értékelései nem tanítják újra a modellt; megmutatják, hol kellene javítani egy ügynök tudását vagy utasításait.

További információ

Témák

tanítás
emberi visszajelzés
nyelvi modellek

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

Megerősítéses tanulás (RL)

A megerősítéses tanulás a gépi tanulás egyik ága, amelyben az ágens próba-szerencse alapon tanul. Egy környezetben cselekszik, a jó eredményekért jutalmat, a rosszakért büntetést kap, és így olyan stratégiát alakít ki, amely maximalizálja az összjutalmát. Ismert példák a táblás játékokat – például a gót – elsajátító programok, a robotvezérlés és a nyelvi modellek emberi értékelések alapján végzett finomhangolása.

tanulási módszer
jutalom
+1

Instruction Tuning

Az utasításhangolás (instruction tuning) a finomhangolás egy formája, amelyben egy előre betanított nyelvi modellt további, sok utasítás–kívánt válasz párral tanítanak tovább. Ezzel a modell megtanulja követni a természetes nyelven megfogalmazott feladatokat ahelyett, hogy csupán folytatná a szöveget. Kulcsfontosságú lépés abban, hogy egy alapmodellből asszisztens legyen, és gyakran kombinálják olyan módszerekkel, mint az RLHF. Példa: a „Foglald össze ezt a szöveget három mondatban” utasítást megbízhatóan végrehajtja.

finomhangolás
nyelvi modellek
+1

Konstitucionális MI

A konstitucionális MI (Constitutional AI) az Anthropic által 2022-ben közzétett tanítási módszer nyelvi modellekhez; semmi köze az alkotmányjoghoz. Írott elvek összességére, az „alkotmányra” épül: a modell ezen elvek alapján bírálja és javítja saját válaszait, majd egy MI válaszpárokat hasonlít össze, és ez a visszajelzés szolgál jutalomjelként a megerősítéses tanuláshoz (RLAIF). Ez csökkenti a káros tartalmak emberi címkézésének szükségességét; 2026 januárjában az Anthropic közzétett egy átdolgozott alkotmányt a Claude számára.

Training
MI-biztonság
+1

finomhangolás

A finomhangolás egy már előre betanított MI-modell további tanítását jelenti kiegészítő, általában feladatspecifikus adatokkal. Belső súlyait úgy módosítják, hogy a modell például egy bizonyos írásstílust, szaknyelvet vagy kimeneti formátumot megbízhatóbban kezeljen. A finomhangolás gondosan előkészített példaadatokat, számítási teljesítményt és tesztelést igényel. Sok alkalmazáshoz jól megírt utasítások és csatlakoztatott tudás is elegendő, és könnyebben módosíthatók.

modelltanítás
testreszabás
+1