Pojmovnik

Fino podešavanje učinkovito s obzirom na parametre (PEFT)

Što je Fino podešavanje učinkovito s obzirom na parametre (PEFT)?

Fino podešavanje učinkovito s obzirom na parametre (PEFT) obuhvaća tehnike kojima se veliki unaprijed trenirani model prilagođava zadatku treniranjem samo malog dijela njegovih parametara ili dodavanjem nekoliko dodatnih. Poznate metode su LoRA, QLoRA, adapteri i prefix tuning. Time se uvelike smanjuju zahtjevi za računalnom snagom i memorijom, a umjesto potpunih kopija modela mogu se pohraniti mali dodatni moduli za više zadataka. Primjer: jezični model prilagođava se stilu internih tehničkih dokumenata.

Teme

fino podešavanje
treniranje
učinkovitost

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo

← Svi pojmovi

Srodni pojmovi

Fino podešavanje

Fino podešavanje (fine-tuning) znači daljnje treniranje već unaprijed treniranog UI modela na dodatnim, obično zadatku prilagođenim podacima. Njegove unutarnje težine prilagođavaju se tako da model pouzdanije obrađuje, primjerice, određeni stil pisanja, stručni rječnik ili izlazni format. Fino podešavanje zahtijeva pažljivo pripremljene primjere podataka, računalnu snagu i testiranje. Za mnoge primjene dovoljne su dobro napisane upute i povezano znanje, koje je ujedno lakše mijenjati.

Treniranje modela
Prilagodba
+1

Instruction Tuning

Podešavanje prema uputama (instruction tuning) oblik je finog podešavanja u kojem se unaprijed treniran jezični model dalje trenira na mnogo parova uputa i željenih odgovora. Time model uči izvršavati zadatke formulirane prirodnim jezikom, a ne samo nastavljati tekst. To je ključni korak u pretvaranju osnovnog modela u asistenta i često se kombinira s metodama poput RLHF-a. Primjer: „Sažmi ovaj tekst u tri rečenice” izvršava se pouzdano.

Fino podešavanje
Jezični modeli
+1

Transfer Learning

Kod prijenosa učenja (transfer learning) model koji je već naučio veliki opći zadatak služi kao polazište za novi, specijalizirani zadatak. Umjesto da se kreće od nule, prilagođava se, primjerice finim podešavanjem, uz razmjerno malo vlastitih podataka. To štedi računalno vrijeme i podatke, primjerice kada opći model slika treba naučiti uočavati proizvodne greške na fotografijama.

Strojno učenje
Training
+1

Temeljni model (foundation model)

Temeljni model (foundation model) velik je UI model unaprijed treniran na vrlo opsežnim, raznovrsnim podacima, koji se zatim može koristiti za mnoge različite zadatke. Pojam je skovan 2021. na Sveučilištu Stanford. Poznati primjeri uključuju velike jezične modele poput Claudea ili GPT-a te modele za slike. Tvrtke svoje aplikacije obično grade na takvim modelima umjesto da treniraju vlastite od nule; Akt EU-a o umjetnoj inteligenciji odnosi se na UI modele opće namjene.

Osnovni model
Jezični modeli
+1