Sõnastik

Transfer Learning

Mis on Transfer Learning?

Siirdeõppes (transfer learning) on lähtepunktiks mudel, mis on juba õppinud suure üldise ülesande, uue spetsialiseeritud ülesande jaoks. Nullist alustamise asemel kohandatakse seda, näiteks peenhäälestuse abil, võrdlemisi vähese omaandmestikuga. See säästab arvutusaega ja andmeid, näiteks kui üldine pildimudel peab õppima fotodelt tootmisdefekte märkama.

Teemad

  • Masinõpe
  • Training
  • Peenhäälestus

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

Peenhäälestus

Peenhäälestus (fine-tuning) tähendab juba eeltreenitud TI-mudeli edasitreenimist täiendavate, tavaliselt ülesandespetsiifiliste andmetega. Mudeli sisemisi kaalusid kohandatakse nii, et see tuleb näiteks kindla kirjutusstiili, erialasõnavara või väljundivorminguga usaldusväärsemalt toime. Peenhäälestus nõuab hoolikalt ette valmistatud näiteandmeid, arvutusvõimsust ja testimist. Paljude rakenduste jaoks piisab hästi kirjutatud juhistest ja ühendatud teadmistest ning neid on lihtsam muuta.

  • Mudeli treenimine
  • Kohandamine
  • +1

Alusmudel

Alusmudel (foundation model) on suur TI-mudel, mis on eeltreenitud väga mahukate ja mitmekesiste andmetega ning mida saab seejärel kasutada paljudeks erinevateks ülesanneteks. Termini võttis 2021. aastal kasutusele Stanfordi ülikool. Tuntud näited on suured keelemudelid, nagu Claude või GPT, ning pildimudelid. Ettevõtted ehitavad oma rakendused tavaliselt selliste mudelite peale, selle asemel et nullist oma mudelit treenida; ELi tehisintellekti määrus räägib üldotstarbelistest TI-mudelitest.

  • Baasmudel
  • Keelemudelid
  • +1

Parameetritõhus peenhäälestus (PEFT)

Parameetritõhus peenhäälestus (PEFT) hõlmab tehnikaid, mis kohandavad suure eeltreenitud mudeli ülesandele, treenides ainult väikest osa selle parameetritest või lisades mõned täiendavad parameetrid. Tuntud meetodid on LoRA, QLoRA, adapterid ja prefix tuning. See vähendab oluliselt arvutus- ja mäluvajadust ning täismudelite koopiate asemel saab mitme ülesande jaoks salvestada väikesi lisamooduleid. Näide: keelemudel kohandatakse sisemiste tehniliste dokumentide stiilile.

  • peenhäälestus
  • treenimine
  • +1