În învățarea prin transfer, un model care a învățat deja o sarcină generală amplă servește drept punct de pornire pentru unul nou, specializat. În loc să înceapă de la zero, este adaptat, de exemplu prin reglaj fin, folosind relativ puține date proprii. Aceasta economisește timp de calcul și date, de exemplu atunci când un model general de imagini trebuie să învețe să depisteze defecte de fabricație în fotografii.
Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.
Porniți demo-ulFine-tuning înseamnă continuarea antrenării unui model IA deja pre-antrenat cu date suplimentare, de obicei specifice unei sarcini. Ponderile sale interne sunt ajustate astfel încât modelul să gestioneze mai fiabil, de exemplu, un anumit stil de scriere, un vocabular de specialitate sau un format de ieșire. Fine-tuning-ul necesită date de exemplu pregătite cu grijă, putere de calcul și testare. Pentru multe aplicații, instrucțiunile bine scrise și cunoștințele conectate sunt suficiente și mai ușor de modificat.
Un model de fundație (foundation model) este un model IA de mari dimensiuni, pre-antrenat pe date foarte extinse și variate, care poate fi apoi folosit pentru multe sarcini diferite. Termenul a fost lansat la Universitatea Stanford în 2021. Exemple cunoscute sunt modelele lingvistice de mari dimensiuni, precum Claude sau GPT, dar și modelele de imagine. Companiile își construiesc de obicei aplicațiile pe astfel de modele, în loc să antreneze unul propriu de la zero; Regulamentul UE privind IA (AI Act) se referă la modele IA de uz general.
Reglajul fin eficient din punct de vedere al parametrilor (PEFT) cuprinde tehnici care adaptează un model mare preantrenat la o sarcină antrenând doar o mică parte din parametrii săi sau adăugând câțiva parametri suplimentari. Metodele cunoscute includ LoRA, QLoRA, adaptoarele și prefix tuning. Acest lucru reduce considerabil cerințele de calcul și de memorie, iar modulele mici suplimentare pot fi salvate pentru mai multe sarcini, în locul copiilor complete ale modelului. Exemplu: un model lingvistic este adaptat la stilul documentației tehnice interne.
