SK
Prihlásiť saZačať
Slovník pojmov

Posilňované učenie z ľudskej spätnej väzby (RLHF)

Čo je Posilňované učenie z ľudskej spätnej väzby (RLHF)?

RLHF je trénovacia metóda, vďaka ktorej sú jazykové modely užitočnejšie a bezpečnejšie. Ľudia porovnávajú a hodnotia viaceré odpovede modelu; z týchto posudkov sa trénuje model odmien, ktorý potom prostredníctvom posilňovaného učenia ďalej trénuje samotný jazykový model. Učí ho to napríklad odpovedať jasnejšie alebo odmietať problematické požiadavky. RLHF prebieha u poskytovateľa modelu pred jeho vydaním – nie u jednotlivých používateľov.

Ako pomáha KI.ordo

Hodnotenia 👍/👎 v KI.ordo model nepretrénujú; ukazujú, kde by sa mali vylepšiť znalosti alebo pokyny agenta.

Zistiť viac : Posilňované učenie z ľudskej spätnej väzby (RLHF)

Témy

  • trénovanie
  • ľudská spätná väzba
  • jazykové modely

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo
← Všetky pojmy

Súvisiace pojmy

Posilňované učenie (RL)

Posilňované učenie je odvetvie strojového učenia, v ktorom sa agent učí metódou pokus–omyl. Koná v prostredí, za dobré výsledky dostáva odmeny a za zlé tresty a takto vyvíja stratégiu, ktorá maximalizuje jeho celkovú odmenu. Medzi známe príklady patria programy, ktoré ovládli stolové hry, ako je Go, riadenie robotov a dolaďovanie jazykových modelov na základe ľudského hodnotenia.

  • metóda učenia
  • odmena
  • +1

Instruction Tuning

Ladenie podľa pokynov (instruction tuning) je forma dolaďovania, pri ktorej sa vopred natrénovaný jazykový model ďalej trénuje na mnohých dvojiciach pokynov a požadovaných odpovedí. Model sa tak naučí plniť úlohy formulované v prirodzenom jazyku, a nielen pokračovať v texte. Je to kľúčový krok pri premene základného modelu na asistenta a často sa kombinuje s metódami, ako je RLHF. Príklad: pokyn „Zhrň tento text do troch viet“ sa vykoná spoľahlivo.

  • dolaďovanie
  • jazykové modely
  • +1

Konštitučná AI (Constitutional AI)

Konštitučná AI (Constitutional AI) je metóda trénovania jazykových modelov, ktorú v roku 2022 zverejnila spoločnosť Anthropic; s ústavným právom nemá nič spoločné. Vychádza zo spísaného súboru zásad, „konštitúcie“: model kritizuje a prepracúva vlastné odpovede podľa týchto zásad, potom AI porovnáva dvojice odpovedí a táto spätná väzba slúži ako odmeňovací signál pre posilňované učenie (RLAIF). Znižuje to potrebu ľudského označovania škodlivého obsahu; v januári 2026 Anthropic zverejnil revidovanú konštitúciu pre Claude.

  • Training
  • bezpečnosť AI
  • +1

dolaďovanie

Dolaďovanie (fine-tuning) znamená ďalšie trénovanie už vopred natrénovaného modelu AI na dodatočných, zvyčajne úlohovo špecifických údajoch. Jeho vnútorné váhy sa upravia tak, aby model spoľahlivejšie zvládal napríklad určitý štýl písania, odbornú slovnú zásobu alebo výstupný formát. Dolaďovanie vyžaduje starostlivo pripravené príkladové údaje, výpočtový výkon a testovanie. Pre mnohé aplikácie stačia dobre napísané pokyny a pripojené znalosti, ktoré sa dajú ľahšie meniť.

  • trénovanie modelov
  • Prispôsobenie
  • +1