Q-learning to podstawowa metoda uczenia ze wzmocnieniem. Agent metodą prób i błędów uczy się, jaką długoterminową wartość (tzw. wartość Q) ma dane działanie w danej sytuacji, i z czasem wybiera najbardziej obiecujące działania. Nie potrzebuje do tego modelu swojego otoczenia. W połączeniu z sieciami neuronowymi (deep Q-learning) system DeepMind wykorzystał to podejście, aby nauczyć się grać w wiele gier wideo na konsolę Atari wyłącznie na podstawie pikseli ekranu.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoUczenie ze wzmocnieniem to dziedzina uczenia maszynowego, w której agent uczy się metodą prób i błędów. Działa w pewnym środowisku, otrzymuje nagrody za dobre wyniki i kary za złe, a w ten sposób wypracowuje strategię maksymalizującą łączną nagrodę. Znane przykłady to programy opanowujące gry planszowe, takie jak go, sterowanie robotami oraz dostrajanie modeli językowych na podstawie ocen ludzi.
RLHF to metoda treningu, dzięki której modele językowe stają się bardziej pomocne i bezpieczniejsze. Ludzie porównują i oceniają kilka odpowiedzi modelu; na podstawie tych ocen trenuje się model nagrody, który następnie dalej trenuje sam model językowy metodą uczenia ze wzmocnieniem. Uczy to go na przykład odpowiadać jaśniej lub odrzucać problematyczne prośby. RLHF odbywa się u dostawcy modelu przed jego wydaniem – nie u poszczególnych użytkowników.
Metody Monte Carlo to techniki obliczeniowe, które wykorzystują bardzo dużą liczbę losowych prób do przybliżania wyników trudnych do obliczenia analitycznie. System jest symulowany tysiące razy przy losowo zmienianych założeniach, a następnie analizuje się rozkład wyników. Organizacje stosują je do analizy ryzyka, harmonogramowania projektów lub wyceny portfeli. W AI metody te są wykorzystywane między innymi w uczeniu ze wzmocnieniem i w przeszukiwaniu drzew w grach.
Sztuczne sieci neuronowe (ANN) to modele obliczeniowe złożone z wielu połączonych jednostek („neuronów”) ułożonych w warstwy, które przetwarzają dane wejściowe przez ważone połączenia. Podczas trenowania wagi są stopniowo dostosowywane na podstawie przykładów, zwykle metodą propagacji wstecznej. ANN są podstawą uczenia głębokiego i napędzają rozpoznawanie obrazów, rozpoznawanie mowy oraz duże modele językowe. Mimo biologicznej inspiracji działają znacznie prościej niż ludzki mózg.
