Glosar

Reglajul fin eficient din punct de vedere al parametrilor (PEFT)

Ce este Reglajul fin eficient din punct de vedere al parametrilor (PEFT)?

Reglajul fin eficient din punct de vedere al parametrilor (PEFT) cuprinde tehnici care adaptează un model mare preantrenat la o sarcină antrenând doar o mică parte din parametrii săi sau adăugând câțiva parametri suplimentari. Metodele cunoscute includ LoRA, QLoRA, adaptoarele și prefix tuning. Acest lucru reduce considerabil cerințele de calcul și de memorie, iar modulele mici suplimentare pot fi salvate pentru mai multe sarcini, în locul copiilor complete ale modelului. Exemplu: un model lingvistic este adaptat la stilul documentației tehnice interne.

Subiecte

reglaj fin (fine-tuning)
antrenare
eficiență

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

fine-tuning

Fine-tuning înseamnă continuarea antrenării unui model IA deja pre-antrenat cu date suplimentare, de obicei specifice unei sarcini. Ponderile sale interne sunt ajustate astfel încât modelul să gestioneze mai fiabil, de exemplu, un anumit stil de scriere, un vocabular de specialitate sau un format de ieșire. Fine-tuning-ul necesită date de exemplu pregătite cu grijă, putere de calcul și testare. Pentru multe aplicații, instrucțiunile bine scrise și cunoștințele conectate sunt suficiente și mai ușor de modificat.

antrenarea modelelor
personalizare
+1

Instruction Tuning

Instruction tuning este o formă de fine-tuning în care un model lingvistic pre-antrenat este antrenat în continuare pe multe perechi de instrucțiuni și răspunsuri dorite. Aceasta îl învață pe model să urmeze sarcini formulate în limbaj natural, nu doar să continue textul. Este un pas esențial în transformarea unui model de bază într-un asistent și este adesea combinat cu metode precum RLHF. Exemplu: „Rezumă acest text în trei propoziții” este executat fiabil.

fine-tuning
modele lingvistice
+1

Transfer Learning

În învățarea prin transfer, un model care a învățat deja o sarcină generală amplă servește drept punct de pornire pentru unul nou, specializat. În loc să înceapă de la zero, este adaptat, de exemplu prin reglaj fin, folosind relativ puține date proprii. Aceasta economisește timp de calcul și date, de exemplu atunci când un model general de imagini trebuie să învețe să depisteze defecte de fabricație în fotografii.

Învățare automată
Training
+1

Model de fundație

Un model de fundație (foundation model) este un model IA de mari dimensiuni, pre-antrenat pe date foarte extinse și variate, care poate fi apoi folosit pentru multe sarcini diferite. Termenul a fost lansat la Universitatea Stanford în 2021. Exemple cunoscute sunt modelele lingvistice de mari dimensiuni, precum Claude sau GPT, dar și modelele de imagine. Companiile își construiesc de obicei aplicațiile pe astfel de modele, în loc să antreneze unul propriu de la zero; Regulamentul UE privind IA (AI Act) se referă la modele IA de uz general.

model de bază
modele lingvistice
+1