Fogalomtár

Paraméterhatékony finomhangolás (PEFT)

Mi a(z) Paraméterhatékony finomhangolás (PEFT)?

A paraméterhatékony finomhangolás (PEFT) olyan technikákat foglal magában, amelyek egy nagy, előtanított modellt úgy igazítanak egy feladathoz, hogy csak paramétereinek kis részét tanítják, vagy néhány további paramétert adnak hozzá. Ismert módszerek a LoRA, a QLoRA, az adapterek és a prefix tuning. Ez jelentősen csökkenti a számítási és memóriaigényt, és a teljes modellmásolatok helyett kis kiegészítő modulok tárolhatók több feladathoz. Példa: egy nyelvi modellt a belső műszaki dokumentumok stílusához igazítanak.

Témák

finomhangolás
tanítás
hatékonyság

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

finomhangolás

A finomhangolás egy már előre betanított MI-modell további tanítását jelenti kiegészítő, általában feladatspecifikus adatokkal. Belső súlyait úgy módosítják, hogy a modell például egy bizonyos írásstílust, szaknyelvet vagy kimeneti formátumot megbízhatóbban kezeljen. A finomhangolás gondosan előkészített példaadatokat, számítási teljesítményt és tesztelést igényel. Sok alkalmazáshoz jól megírt utasítások és csatlakoztatott tudás is elegendő, és könnyebben módosíthatók.

modelltanítás
testreszabás
+1

Instruction Tuning

Az utasításhangolás (instruction tuning) a finomhangolás egy formája, amelyben egy előre betanított nyelvi modellt további, sok utasítás–kívánt válasz párral tanítanak tovább. Ezzel a modell megtanulja követni a természetes nyelven megfogalmazott feladatokat ahelyett, hogy csupán folytatná a szöveget. Kulcsfontosságú lépés abban, hogy egy alapmodellből asszisztens legyen, és gyakran kombinálják olyan módszerekkel, mint az RLHF. Példa: a „Foglald össze ezt a szöveget három mondatban” utasítást megbízhatóan végrehajtja.

finomhangolás
nyelvi modellek
+1

Transfer Learning

A transzferalapú tanulás (transfer learning) során egy olyan modell szolgál kiindulópontként egy új, specializált modellhez, amely már megtanult egy nagy, általános feladatot. A nulláról indulás helyett igazítják, például finomhangolással, viszonylag kevés saját adat felhasználásával. Ez számítási időt és adatot takarít meg, például amikor egy általános képi modellnek meg kell tanulnia a gyártási hibák felismerését fényképeken.

Gépi tanulás
Training
+1

Alapmodell

Az alapmodell (foundation model) egy nagyon kiterjedt, sokrétű adatokon előre betanított nagy MI-modell, amely aztán sokféle feladatra felhasználható. A kifejezést a Stanford Egyetemen alkották 2021-ben. Ismert példák a nagy nyelvi modellek, mint a Claude vagy a GPT, valamint a képmodellek. A vállalkozások alkalmazásaikat általában ilyen modellekre építik, ahelyett hogy a nulláról saját modellt tanítanának; az EU MI-rendelete az általános célú MI-modellekre hivatkozik.

bázismodell
nyelvi modellek
+1