ET
Logi sisseAlusta kohe
Sõnastik

Parameetritõhus peenhäälestus (PEFT)

Mis on Parameetritõhus peenhäälestus (PEFT)?

Parameetritõhus peenhäälestus (PEFT) hõlmab tehnikaid, mis kohandavad suure eeltreenitud mudeli ülesandele, treenides ainult väikest osa selle parameetritest või lisades mõned täiendavad parameetrid. Tuntud meetodid on LoRA, QLoRA, adapterid ja prefix tuning. See vähendab oluliselt arvutus- ja mäluvajadust ning täismudelite koopiate asemel saab mitme ülesande jaoks salvestada väikesi lisamooduleid. Näide: keelemudel kohandatakse sisemiste tehniliste dokumentide stiilile.

Teemad

  • peenhäälestus
  • treenimine
  • tõhusus

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

Peenhäälestus

Peenhäälestus (fine-tuning) tähendab juba eeltreenitud TI-mudeli edasitreenimist täiendavate, tavaliselt ülesandespetsiifiliste andmetega. Mudeli sisemisi kaalusid kohandatakse nii, et see tuleb näiteks kindla kirjutusstiili, erialasõnavara või väljundivorminguga usaldusväärsemalt toime. Peenhäälestus nõuab hoolikalt ette valmistatud näiteandmeid, arvutusvõimsust ja testimist. Paljude rakenduste jaoks piisab hästi kirjutatud juhistest ja ühendatud teadmistest ning neid on lihtsam muuta.

  • Mudeli treenimine
  • Kohandamine
  • +1

Instruction Tuning

Juhistega häälestamine (instruction tuning) on peenhäälestuse vorm, kus eeltreenitud keelemudelit treenitakse edasi paljude juhiste ja soovitud vastuste paaridega. See õpetab mudelit järgima loomulikus keeles sõnastatud ülesandeid, mitte lihtsalt teksti jätkama. See on oluline samm baasmudeli muutmisel assistendiks ja seda kombineeritakse sageli selliste meetoditega nagu RLHF. Näide: „Võta see tekst kolme lausega kokku“ täidetakse usaldusväärselt.

  • Peenhäälestus
  • Keelemudelid
  • +1

Transfer Learning

Siirdeõppes (transfer learning) on lähtepunktiks mudel, mis on juba õppinud suure üldise ülesande, uue spetsialiseeritud ülesande jaoks. Nullist alustamise asemel kohandatakse seda, näiteks peenhäälestuse abil, võrdlemisi vähese omaandmestikuga. See säästab arvutusaega ja andmeid, näiteks kui üldine pildimudel peab õppima fotodelt tootmisdefekte märkama.

  • Masinõpe
  • Training
  • +1

Alusmudel

Alusmudel (foundation model) on suur TI-mudel, mis on eeltreenitud väga mahukate ja mitmekesiste andmetega ning mida saab seejärel kasutada paljudeks erinevateks ülesanneteks. Termini võttis 2021. aastal kasutusele Stanfordi ülikool. Tuntud näited on suured keelemudelid, nagu Claude või GPT, ning pildimudelid. Ettevõtted ehitavad oma rakendused tavaliselt selliste mudelite peale, selle asemel et nullist oma mudelit treenida; ELi tehisintellekti määrus räägib üldotstarbelistest TI-mudelitest.

  • Baasmudel
  • Keelemudelid
  • +1