Речник

Параметрично ефективна фина настройка (PEFT)

Какво е Параметрично ефективна фина настройка (PEFT)?

Параметрично ефективната фина настройка (PEFT) обхваща техники, които адаптират голям предварително обучен модел към дадена задача, като обучават само малка част от неговите параметри или добавят няколко допълнителни. Известни методи са LoRA, QLoRA, адаптери и prefix tuning. Това значително намалява изискванията към изчислителна мощ и памет, а малки допълнителни модули могат да се съхраняват за няколко задачи вместо пълни копия на модела. Пример: езиков модел се адаптира към стила на вътрешни технически документи.

Теми

фина настройка
обучение
ефективност

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Фино настройване

Финото настройване (fine-tuning) означава допълнително обучение на вече предварително обучен ИИ модел с допълнителни, обикновено специфични за задачата данни. Вътрешните му тегла се коригират така, че моделът да се справя по-надеждно например с определен стил на писане, специализирана лексика или изходен формат. Финната настройка изисква грижливо подготвени примерни данни, изчислителна мощност и тестване. За много приложения добре формулираните инструкции и свързаните знания са достатъчни и се променят по-лесно.

Обучение на модели
Персонализиране
+1

Instruction Tuning

Настройването по инструкции (instruction tuning) е вид фино настройване, при което предварително обучен езиков модел се обучава допълнително върху много двойки инструкции и желани отговори. Така моделът се научава да изпълнява задачи, формулирани на естествен език, а не само да продължава текст. Това е ключова стъпка при превръщането на базов модел в асистент и често се комбинира с методи като RLHF. Пример: „Обобщи този текст в три изречения“ се изпълнява надеждно.

Фино настройване
Езикови модели
+1

Transfer Learning

При трансферното обучение модел, който вече е усвоил голяма обща задача, служи като отправна точка за нов, специализиран модел. Вместо да се започва от нула, той се адаптира, например чрез фина настройка, със сравнително малко собствени данни. Това спестява изчислително време и данни, например когато общ модел за изображения трябва да се научи да открива производствени дефекти по снимки.

Машинно обучение
Training
+1

Базов модел (foundation model)

Базовият модел (foundation model) е голям ИИ модел, предварително обучен върху много обширни и разнообразни данни, който след това може да се използва за много различни задачи. Терминът е въведен в Станфордския университет през 2021 г. Известни примери са големите езикови модели като Claude или GPT, както и моделите за изображения. Предприятията обикновено изграждат приложенията си върху такива модели, вместо да обучават собствени от нулата; Актът на ЕС за изкуствения интелект говори за ИИ модели с общо предназначение.

Базов модел
Езикови модели
+1