Terminų žodynas

Parametrų požiūriu efektyvus tikslinimas (PEFT)

Kas yra Parametrų požiūriu efektyvus tikslinimas (PEFT)?

Parametrų požiūriu efektyvus tikslinimas (PEFT) apima metodus, kurie pritaiko didelį iš anksto apmokytą modelį užduočiai, mokydami tik nedidelę jo parametrų dalį arba pridėdami keletą papildomų. Žinomi metodai: LoRA, QLoRA, adapteriai ir prefiksų tikslinimas. Tai labai sumažina skaičiavimo ir atminties poreikį, o vietoje pilnų modelio kopijų galima saugoti mažus priedinius modulius kelioms užduotims. Pavyzdys: kalbos modelis pritaikomas vidinių techninių dokumentų stiliui.

Temos

tikslinimas
mokymas
efektyvumas

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją

← Visi terminai

Susiję terminai

tikslinis derinimas (fine-tuning)

Tikslinis derinimas (fine-tuning) reiškia jau iš anksto apmokyto DI modelio tolesnį mokymą papildomais, paprastai konkrečiai užduočiai skirtais duomenimis. Koreguojami jo vidiniai svoriai, kad modelis patikimiau tvarkytų, pavyzdžiui, tam tikrą rašymo stilių, specialią leksiką ar išvesties formatą. Tikslinis derinimas reikalauja kruopščiai paruoštų pavyzdinių duomenų, skaičiavimo galios ir testavimo. Daugeliui taikymų pakanka gerai parašytų nurodymų ir prijungtų žinių, ir juos lengviau keisti.

modelių mokymas
pritaikymas
+1

Instruction Tuning

Nurodymų derinimas (instruction tuning) – tai tikslinio derinimo forma, kai iš anksto apmokytas kalbos modelis toliau mokomas su daugybe nurodymų ir pageidaujamų atsakymų porų. Taip modelis išmoksta vykdyti natūralia kalba suformuluotas užduotis, o ne vien tęsti tekstą. Tai pagrindinis žingsnis bazinį modelį paverčiant asistentu, ir dažnai derinamas su tokiais metodais kaip RLHF. Pavyzdys: nurodymas „Apibendrink šį tekstą trimis sakiniais“ įvykdomas patikimai.

tikslinis derinimas (fine-tuning)
kalbos modeliai
+1

Transfer Learning

Perkeliamajame mokyme jau išmokęs didelę bendrą užduotį modelis tampa atspirties tašku naujam, specializuotam modeliui. Užuot pradėjus nuo nulio, jis pritaikomas, pavyzdžiui, tikslinant, naudojant palyginti nedaug savų duomenų. Tai taupo skaičiavimo laiką ir duomenis, pavyzdžiui, kai bendrą vaizdų modelį norima išmokyti aptikti gamybos defektus nuotraukose.

Mašininis mokymasis
Training
+1

Bazinis modelis (foundation model)

Bazinis modelis (angl. foundation model) – tai didelis DI modelis, iš anksto apmokytas labai plačiais, įvairiais duomenimis, kurį vėliau galima naudoti daugeliui skirtingų užduočių. Terminą 2021 m. sukūrė Stanfordo universitetas. Gerai žinomi pavyzdžiai yra dideli kalbos modeliai, tokie kaip „Claude“ ar GPT, taip pat vaizdų modeliai. Įmonės savo taikomąsias programas paprastai kuria remdamosi tokiais modeliais, o ne apmoko savo nuo nulio; ES dirbtinio intelekto akte kalbama apie bendrosios paskirties DI modelius.

pagrindinis modelis
kalbos modeliai
+1