Slovar pojmov

Parametrsko učinkovito natančno uravnavanje (PEFT)

Kaj je Parametrsko učinkovito natančno uravnavanje (PEFT)?

Parametrsko učinkovito natančno uravnavanje (PEFT) zajema tehnike, ki velik vnaprej naučen model prilagodijo nalogi tako, da učijo le majhen del njegovih parametrov ali dodajo nekaj dodatnih. Znane metode so LoRA, QLoRA, adapterji in prefix tuning. To močno zmanjša potrebe po računski moči in pomnilniku, majhne dodatne module pa je mogoče shraniti za več nalog namesto polnih kopij modela. Primer: jezikovni model se prilagodi slogu internih tehničnih dokumentov.

Teme

natančno uravnavanje
učenje
učinkovitost

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev

← Vsi pojmi

Sorodni pojmi

Fino uravnavanje

Fino uravnavanje (fine-tuning) pomeni nadaljnje učenje že vnaprej naučenega modela UI na dodatnih, običajno nalogi prilagojenih podatkih. Njegove notranje uteži se prilagodijo, tako da model zanesljiveje obvlada na primer določen slog pisanja, strokovno besedišče ali obliko izpisa. Fino uravnavanje zahteva skrbno pripravljene vzorčne podatke, računsko moč in preizkušanje. Za številne aplikacije zadostujejo dobro napisana navodila in povezano znanje, ki ju je tudi laže spreminjati.

Učenje modela
Prilagajanje
+1

Instruction Tuning

Učenje z navodili (instruction tuning) je oblika finega uravnavanja, pri kateri se vnaprej naučen jezikovni model dodatno uči na številnih parih navodil in želenih odgovorov. Tako se model nauči upoštevati naloge, zapisane v naravnem jeziku, namesto da bi besedilo le nadaljeval. Je ključni korak pri pretvorbi osnovnega modela v pomočnika in se pogosto združuje z metodami, kot je RLHF. Primer: „Povzemi to besedilo v treh stavkih“ se izvede zanesljivo.

Fino uravnavanje
Jezikovni modeli
+1

Transfer Learning

Pri prenosnem učenju model, ki se je že naučil veliko splošno nalogo, služi kot izhodišče za novo, specializirano. Namesto da bi začeli iz nič, ga prilagodimo, na primer z natančnim uravnavanjem, s sorazmerno malo lastnimi podatki. To prihrani računski čas in podatke, na primer kadar se splošni slikovni model nauči prepoznavati napake v proizvodnji na fotografijah.

Strojno učenje
Training
+1

Temeljni model

Temeljni model (foundation model) je velik model UI, vnaprej naučen na zelo obsežnih, raznovrstnih podatkih, ki ga je mogoče nato uporabiti za številne različne naloge. Izraz je leta 2021 skoval Stanfordski univerzitet. Znani primeri so veliki jezikovni modeli, kot sta Claude ali GPT, pa tudi slikovni modeli. Podjetja svoje aplikacije običajno gradijo na takšnih modelih, namesto da bi lastne učila povsem od začetka; Akt EU o umetni inteligenci govori o modelih UI za splošne namene.

Osnovni model
Jezikovni modeli
+1