Słownik pojęć

Uczenie ze wzmocnieniem na podstawie opinii człowieka (RLHF)

Czym jest Uczenie ze wzmocnieniem na podstawie opinii człowieka (RLHF)?

RLHF to metoda treningu, dzięki której modele językowe stają się bardziej pomocne i bezpieczniejsze. Ludzie porównują i oceniają kilka odpowiedzi modelu; na podstawie tych ocen trenuje się model nagrody, który następnie dalej trenuje sam model językowy metodą uczenia ze wzmocnieniem. Uczy to go na przykład odpowiadać jaśniej lub odrzucać problematyczne prośby. RLHF odbywa się u dostawcy modelu przed jego wydaniem – nie u poszczególnych użytkowników.

Jak pomaga KI.ordo

Oceny 👍/👎 w KI.ordo nie trenują modelu ponownie; pokazują, gdzie należy ulepszyć wiedzę lub instrukcje agenta.

Dowiedz się więcej

Tematy

trenowanie
opinie człowieka
modele językowe

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

Uczenie ze wzmocnieniem (RL)

Uczenie ze wzmocnieniem to dziedzina uczenia maszynowego, w której agent uczy się metodą prób i błędów. Działa w pewnym środowisku, otrzymuje nagrody za dobre wyniki i kary za złe, a w ten sposób wypracowuje strategię maksymalizującą łączną nagrodę. Znane przykłady to programy opanowujące gry planszowe, takie jak go, sterowanie robotami oraz dostrajanie modeli językowych na podstawie ocen ludzi.

metoda uczenia
nagroda
+1

Instruction Tuning

Instruction tuning to forma dostrajania, w której wstępnie wytrenowany model językowy jest dalej trenowany na wielu parach poleceń i pożądanych odpowiedzi. Uczy to model wykonywania zadań sformułowanych językiem naturalnym, zamiast jedynie kontynuowania tekstu. Jest to kluczowy krok w przekształcaniu modelu bazowego w asystenta i często łączy się go z metodami takimi jak RLHF. Przykład: polecenie „Streść ten tekst w trzech zdaniach” jest wykonywane niezawodnie.

dostrajanie
modele językowe
+1

Constitutional AI

Constitutional AI to metoda trenowania modeli językowych opublikowana przez Anthropic w 2022 roku; nie ma nic wspólnego z prawem konstytucyjnym. Opiera się na spisanym zbiorze zasad, „konstytucji”: model krytykuje i poprawia własne odpowiedzi w świetle tych zasad, następnie AI porównuje pary odpowiedzi, a ta informacja zwrotna służy jako sygnał nagrody w uczeniu przez wzmacnianie (RLAIF). Zmniejsza to potrzebę ręcznego oznaczania szkodliwych treści przez ludzi; w styczniu 2026 roku Anthropic opublikował zrewidowaną konstytucję dla Claude.

Training
bezpieczeństwo AI
+1

dostrajanie

Dostrajanie (fine-tuning) oznacza dalsze trenowanie już wstępnie wytrenowanego modelu AI na dodatkowych, zwykle specyficznych dla zadania danych. Jego wewnętrzne wagi są korygowane tak, aby model niezawodniej radził sobie na przykład z określonym stylem pisania, słownictwem fachowym lub formatem wyniku. Dostrajanie wymaga starannie przygotowanych przykładowych danych, mocy obliczeniowej i testów. W wielu zastosowaniach wystarczają dobrze napisane instrukcje i podłączona wiedza, które są też łatwiejsze do zmiany.

trenowanie modeli
Dostosowanie
+1