Sanasto

Parametritehokas hienosäätö (PEFT)

Mikä on Parametritehokas hienosäätö (PEFT)?

Parametritehokas hienosäätö (PEFT, parameter-efficient fine-tuning) kattaa tekniikat, joilla suuri esikoulutettu malli mukautetaan tehtävään opettamalla vain pieni osa sen parametreista tai lisäämällä muutama lisäparametri. Tunnettuja menetelmiä ovat LoRA, QLoRA, adapterit ja prefix tuning. Tämä vähentää huomattavasti laskenta- ja muistivaatimuksia, ja pieniä lisämoduuleja voi tallentaa useita tehtäviä varten kokonaisten mallikopioiden sijaan. Esimerkki: kielimalli mukautetaan sisäisten teknisten asiakirjojen tyyliin.

Aiheet

hienosäätö
koulutus
tehokkuus

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

hienosäätö

Hienosäätö tarkoittaa jo esikoulutetun tekoälymallin jatkokoulutusta lisädatalla, joka on yleensä tehtäväkohtaista. Sen sisäisiä painoja säädetään, jotta malli hallitsee esimerkiksi tietyn kirjoitustyylin, erikoissanaston tai tulostusmuodon luotettavammin. Hienosäätö vaatii huolellisesti valmisteltua esimerkkidataa, laskentatehoa ja testausta. Moneen käyttötarkoitukseen riittävät hyvin kirjoitetut ohjeet ja liitetty tietämys, ja niitä on helpompi muuttaa.

mallin koulutus
Mukauttaminen
+1

Instruction Tuning

Ohjeistusviritys (instruction tuning) on hienosäädön muoto, jossa esikoulutettua kielimallia koulutetaan edelleen monilla ohje–toivottu vastaus -pareilla. Tämä opettaa mallin noudattamaan luonnollisella kielellä muotoiltuja tehtäviä sen sijaan, että se vain jatkaisi tekstiä. Se on keskeinen vaihe perusmallin muuttamisessa avustajaksi, ja sitä yhdistetään usein menetelmiin, kuten RLHF. Esimerkki: ”Tiivistä tämä teksti kolmeen lauseeseen” suoritetaan luotettavasti.

hienosäätö
kielimallit
+1

Transfer Learning

Siirto-oppimisessa malli, joka on jo oppinut suuren yleisen tehtävän, toimii lähtökohtana uudelle, erikoistuneelle mallille. Alusta aloittamisen sijaan se mukautetaan, esimerkiksi hienosäädöllä, suhteellisen vähällä omalla datalla. Tämä säästää laskenta-aikaa ja dataa, esimerkiksi kun yleiskuvamallin halutaan oppivan havaitsemaan tuotantovirheitä valokuvista.

Koneoppiminen
Training
+1

Perustamalli

Perustamalli (foundation model) on suuri tekoälymalli, joka on esikoulutettu erittäin laajalla ja monipuolisella datalla ja jota voidaan sen jälkeen käyttää moniin eri tehtäviin. Termin lanseerasi Stanfordin yliopisto vuonna 2021. Tunnettuja esimerkkejä ovat suuret kielimallit, kuten Claude tai GPT, sekä kuvamallit. Yritykset rakentavat sovelluksensa yleensä tällaisten mallien päälle sen sijaan, että kouluttaisivat omia alusta alkaen; EU:n tekoälysäädös viittaa yleiskäyttöisiin tekoälymalleihin.

Perusmalli
kielimallit
+1