Glosář

Posilované učení z lidské zpětné vazby (RLHF)

Co je Posilované učení z lidské zpětné vazby (RLHF)?

RLHF je trénovací metoda, díky níž jsou jazykové modely užitečnější a bezpečnější. Lidé porovnávají a hodnotí několik odpovědí modelu; z těchto úsudků se trénuje model odměn, který pak prostřednictvím posilovaného učení dále trénuje samotný jazykový model. Učí se tak například odpovídat srozumitelněji nebo odmítat problematické požadavky. RLHF probíhá u poskytovatele modelu před jeho vydáním – ne u jednotlivých uživatelů.

Jak pomáhá KI.ordo

Hodnocení 👍/👎 v KI.ordo model znovu netrénují; ukazují, kde je třeba zlepšit znalosti nebo pokyny agenta.

Zjistit více

Témata

trénování
lidská zpětná vazba
jazykové modely

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo

← Všechny pojmy

Související pojmy

Posilované učení (RL)

Posilované učení je odvětví strojového učení, v němž se agent učí metodou pokusu a omylu. Jedná v určitém prostředí, za dobré výsledky dostává odměny a za špatné tresty a tímto způsobem vytváří strategii, která maximalizuje jeho celkovou odměnu. Známými příklady jsou programy, které ovládly deskové hry, jako je go, řízení robotů a doladění jazykových modelů na základě lidského hodnocení.

metoda učení
odměna
+1

Instruction Tuning

Ladění na pokyny (instruction tuning) je forma jemného doladění, při níž se předtrénovaný jazykový model dále trénuje na mnoha dvojicích pokynů a požadovaných odpovědí. Model se tak naučí plnit úlohy formulované přirozeným jazykem, místo aby jen pokračoval v textu. Je to klíčový krok při přeměně základního modelu na asistenta a často se kombinuje s metodami, jako je RLHF. Příklad: pokyn „Shrň tento text do tří vět“ se spolehlivě provede.

jemné doladění
jazykové modely
+1

Konstituční AI (Constitutional AI)

Constitutional AI je metoda trénování jazykových modelů, kterou v roce 2022 zveřejnil Anthropic; s ústavním právem nemá nic společného. Vychází z napsané sady zásad, „ústavy“: model kriticky posuzuje a přepracovává své vlastní odpovědi podle těchto zásad, poté AI porovnává dvojice odpovědí a tato zpětná vazba slouží jako odměnový signál pro zpětnovazební učení (RLAIF). Snižuje to potřebu lidského označování škodlivého obsahu; v lednu 2026 Anthropic zveřejnil revidovanou ústavu pro Claude.

Training
bezpečnost AI
+1

jemné doladění

Jemné doladění (fine-tuning) znamená další trénování již předtrénovaného modelu AI na dodatečných, obvykle úlohově specifických datech. Upravují se jeho vnitřní váhy, aby model spolehlivěji zvládal například určitý styl psaní, odbornou slovní zásobu nebo výstupní formát. Fine-tuning vyžaduje pečlivě připravená vzorová data, výpočetní výkon a testování. Pro mnoho aplikací stačí dobře napsané pokyny a připojené znalosti, které se snáze mění.

trénování modelů
přizpůsobení
+1