Речник

Обучение с подкрепление от човешка обратна връзка (RLHF)

Какво е Обучение с подкрепление от човешка обратна връзка (RLHF)?

RLHF е метод за обучение, който прави езиковите модели по-полезни и по-безопасни. Хора сравняват и оценяват няколко от отговорите на модела; тези преценки се използват за обучение на модел на наградата, който след това допълнително обучава самия езиков модел чрез обучение с подкрепление. Така той се научава например да отговаря по-ясно или да отказва проблемни заявки. RLHF се провежда при доставчика на модела, преди моделът да бъде пуснат – не при отделните потребители.

Как помага KI.ordo

Оценките 👍/👎 в KI.ordo не обучават отново модела; те показват къде знанията или инструкциите на агента трябва да бъдат подобрени.

Научете повече

Теми

обучение
човешка обратна връзка
езикови модели

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Обучение с подкрепление (RL)

Обучението с подкрепление е дял от машинното обучение, при който агентът се учи чрез проба и грешка. Той действа в дадена среда, получава награди за добри резултати и наказания за лоши и по този начин изработва стратегия, която максимизира общата му награда. Известни примери са програмите, които овладяват настолни игри като Го, управлението на роботи и фината настройка на езикови модели въз основа на човешки оценки.

метод на обучение
награда
+1

Instruction Tuning

Настройването по инструкции (instruction tuning) е вид фино настройване, при което предварително обучен езиков модел се обучава допълнително върху много двойки инструкции и желани отговори. Така моделът се научава да изпълнява задачи, формулирани на естествен език, а не само да продължава текст. Това е ключова стъпка при превръщането на базов модел в асистент и често се комбинира с методи като RLHF. Пример: „Обобщи този текст в три изречения“ се изпълнява надеждно.

Фино настройване
Езикови модели
+1

Конституционен ИИ (Constitutional AI)

Конституционният ИИ (Constitutional AI) е метод за обучение на езикови модели, публикуван от Anthropic през 2022 г.; той няма нищо общо с конституционното право. Основава се на писмен набор от принципи – „конституция“: моделът критикува и преработва собствените си отговори спрямо тези принципи, след това ИИ сравнява двойки отговори и тази обратна връзка служи като сигнал за награда при обучението с подкрепление (RLAIF). Това намалява нуждата от човешко етикетиране на вредно съдържание; през януари 2026 г. Anthropic публикува преработена конституция за Claude.

Training
безопасност на ИИ
+1

Фино настройване

Финото настройване (fine-tuning) означава допълнително обучение на вече предварително обучен ИИ модел с допълнителни, обикновено специфични за задачата данни. Вътрешните му тегла се коригират така, че моделът да се справя по-надеждно например с определен стил на писане, специализирана лексика или изходен формат. Финната настройка изисква грижливо подготвени примерни данни, изчислителна мощност и тестване. За много приложения добре формулираните инструкции и свързаните знания са достатъчни и се променят по-лесно.

Обучение на модели
Персонализиране
+1