Обучението с подкрепление е дял от машинното обучение, при който агентът се учи чрез проба и грешка. Той действа в дадена среда, получава награди за добри резултати и наказания за лоши и по този начин изработва стратегия, която максимизира общата му награда. Известни примери са програмите, които овладяват настолни игри като Го, управлението на роботи и фината настройка на езикови модели въз основа на човешки оценки.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоQ-обучението е основен метод за обучение с подкрепление. Агентът се учи чрез проба и грешка каква дългосрочна стойност („Q-стойност“) има дадено действие в дадена ситуация и с времето избира най-обещаващите действия. За целта не му е необходим модел на средата. В комбинация с невронни мрежи (дълбоко Q-обучение) система на DeepMind използва този подход, за да се научи да играе много видеоигри на Atari само от пикселите на екрана.
RLHF е метод за обучение, който прави езиковите модели по-полезни и по-безопасни. Хора сравняват и оценяват няколко от отговорите на модела; тези преценки се използват за обучение на модел на наградата, който след това допълнително обучава самия езиков модел чрез обучение с подкрепление. Така той се научава например да отговаря по-ясно или да отказва проблемни заявки. RLHF се провежда при доставчика на модела, преди моделът да бъде пуснат – не при отделните потребители.
При контролираното обучение моделът се учи от примери, за които правилният отговор вече е известен, като имейли с етикет „спам“ или „не е спам“. От тях той извежда правила, с които да класифицира нови, невиждани случаи или да предвижда стойности. Типични задачи са класификацията и регресията; най-големите усилия отиват за създаването на коректно етикетирани данни.
При неконтролираното обучение моделът получава данни без предварително зададени правилни отговори и сам търси структури. Типични методи са клъстеризацията, която групира сходни записи, и намаляването на размерността, което свива много признаци до няколко същностни. Организациите го използват за откриване на клиентски сегменти или за забелязване на необичайни транзакции; намерените групи трябва след това да бъдат интерпретирани от експерти в областта.
