Uczenie ze wzmocnieniem to dziedzina uczenia maszynowego, w której agent uczy się metodą prób i błędów. Działa w pewnym środowisku, otrzymuje nagrody za dobre wyniki i kary za złe, a w ten sposób wypracowuje strategię maksymalizującą łączną nagrodę. Znane przykłady to programy opanowujące gry planszowe, takie jak go, sterowanie robotami oraz dostrajanie modeli językowych na podstawie ocen ludzi.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoQ-learning to podstawowa metoda uczenia ze wzmocnieniem. Agent metodą prób i błędów uczy się, jaką długoterminową wartość (tzw. wartość Q) ma dane działanie w danej sytuacji, i z czasem wybiera najbardziej obiecujące działania. Nie potrzebuje do tego modelu swojego otoczenia. W połączeniu z sieciami neuronowymi (deep Q-learning) system DeepMind wykorzystał to podejście, aby nauczyć się grać w wiele gier wideo na konsolę Atari wyłącznie na podstawie pikseli ekranu.
RLHF to metoda treningu, dzięki której modele językowe stają się bardziej pomocne i bezpieczniejsze. Ludzie porównują i oceniają kilka odpowiedzi modelu; na podstawie tych ocen trenuje się model nagrody, który następnie dalej trenuje sam model językowy metodą uczenia ze wzmocnieniem. Uczy to go na przykład odpowiadać jaśniej lub odrzucać problematyczne prośby. RLHF odbywa się u dostawcy modelu przed jego wydaniem – nie u poszczególnych użytkowników.
W uczeniu nadzorowanym model uczy się na przykładach, dla których poprawna odpowiedź jest już znana, na przykład na e-mailach oznaczonych jako „spam” lub „nie spam”. Na tej podstawie wyprowadza reguły do klasyfikowania nowych, nieznanych przypadków lub przewidywania wartości. Typowe zadania to klasyfikacja i regresja; większość wysiłku pochłania przygotowanie starannie oznaczonych danych.
W uczeniu nienadzorowanym model otrzymuje dane bez z góry zdefiniowanych poprawnych odpowiedzi i samodzielnie szuka struktur. Typowe metody to klasteryzacja, która grupuje podobne rekordy, oraz redukcja wymiarowości, która zagęszcza wiele cech do kilku zasadniczych. Organizacje stosują je do odkrywania segmentów klientów lub wykrywania nietypowych transakcji; znalezione grupy muszą następnie zinterpretować eksperci dziedzinowi.
