Glosārijs

Parametru efektīva precizēšana (PEFT)

Kas ir Parametru efektīva precizēšana (PEFT)?

Parametru efektīva precizēšana (PEFT) aptver paņēmienus, kas lielu iepriekš apmācītu modeli pielāgo uzdevumam, apmācot tikai nelielu daļu tā parametru vai pievienojot dažus papildu parametrus. Pazīstamas metodes ir LoRA, QLoRA, adapteri un prefiksu precizēšana. Tas ievērojami samazina skaitļošanas un atmiņas prasības, un vairākiem uzdevumiem var glabāt nelielus papildmoduļus pilnu modeļa kopiju vietā. Piemērs: valodas modelis tiek pielāgots iekšējo tehnisko dokumentu stilam.

Tēmas

precizēšana
apmācība
efektivitāte

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo

← Visi termini

Saistītie termini

Pielāgošana (fine-tuning)

Pielāgošana (fine-tuning) nozīmē jau iepriekš apmācīta MI modeļa tālāku apmācību ar papildu, parasti konkrētam uzdevumam paredzētiem datiem. Tā iekšējie svari tiek pielāgoti, lai modelis drošāk apstrādātu, piemēram, noteiktu rakstības stilu, nozares leksiku vai izvades formātu. Pielāgošanai nepieciešami rūpīgi sagatavoti piemēru dati, skaitļošanas jauda un testēšana. Daudzām lietojumprogrammām pietiek ar labi uzrakstītiem norādījumiem un pieslēgtām zināšanām, un tos ir vieglāk mainīt.

Modeļu apmācība
Pielāgošana
+1

Instruction Tuning

Norādījumu pielāgošana (instruction tuning) ir pielāgošanas (fine-tuning) forma, kurā iepriekš apmācīts valodas modelis tiek tālāk apmācīts ar daudziem norādījumu un vēlamo atbilžu pāriem. Tas modeli māca izpildīt dabiskā valodā formulētus uzdevumus, nevis tikai turpināt tekstu. Tas ir svarīgs solis, pārvēršot bāzes modeli par asistentu, un to bieži apvieno ar tādām metodēm kā RLHF. Piemērs: „Apkopo šo tekstu trīs teikumos” tiek izpildīts droši.

Pielāgošana (fine-tuning)
Valodas modeļi
+1

Transfer Learning

Pārneses mācīšanās gadījumā modelis, kas jau apguvis plašu vispārīgu uzdevumu, kalpo kā sākumpunkts jaunam, specializētam modelim. Tā vietā, lai sāktu no nulles, tas tiek pielāgots, piemēram, ar precizēšanu, izmantojot samērā nelielu savu datu apjomu. Tas ietaupa skaitļošanas laiku un datus, piemēram, ja vispārīgam attēlu modelim jāiemācās atrast ražošanas defektus fotogrāfijās.

Mašīnmācīšanās
Training
+1

Pamatmodelis

Pamatmodelis ir liels MI modelis, kas iepriekš apmācīts ar ļoti plašiem, daudzveidīgiem datiem un pēc tam var tikt izmantots daudziem dažādiem uzdevumiem. Terminu 2021. gadā ieviesa Stenfordas Universitātē. Plaši pazīstami piemēri ir lielie valodas modeļi, piemēram, Claude vai GPT, kā arī attēlu modeļi. Uzņēmumi savas lietojumprogrammas parasti būvē uz šādiem modeļiem, nevis apmāca savus no nulles; ES Mākslīgā intelekta akts runā par vispārīga lietojuma MI modeļiem.

Bāzes modelis
Valodas modeļi
+1