Glossario

Parameter-Efficient Fine-Tuning (PEFT)

Che cos’è Parameter-Efficient Fine-Tuning (PEFT)?

Il Parameter-Efficient Fine-Tuning (PEFT) riunisce tecniche che adattano un grande modello preaddestrato a un compito addestrando solo una piccola parte dei parametri o aggiungendone pochi. Metodi noti sono LoRA, QLoRA, adapter e prefix tuning. Ciò riduce notevolmente il fabbisogno di calcolo e memoria, e per più compiti si possono salvare piccoli moduli aggiuntivi invece di copie complete del modello. Esempio: un modello linguistico viene adattato allo stile dei testi tecnici interni.

Temi

fine-tuning
addestramento
efficienza

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

Fine-tuning (affinamento)

Il fine-tuning consiste nell’addestrare ulteriormente un modello di IA già preaddestrato con dati aggiuntivi, di solito specifici per un compito. Si modificano i pesi interni affinché il modello gestisca in modo più affidabile, ad esempio, uno stile di scrittura, un lessico specialistico o un formato di output. Richiede dati di esempio ben preparati, potenza di calcolo e test. Per molte applicazioni bastano istruzioni ben scritte e conoscenze collegate, più facili da modificare.

Addestramento
Personalizzazione
+1

Instruction tuning

L'instruction tuning è una forma di fine-tuning in cui un modello linguistico preaddestrato viene ulteriormente addestrato su molte coppie di istruzione e risposta desiderata. Così il modello impara a eseguire compiti formulati in linguaggio naturale invece di limitarsi a proseguire un testo. È un passaggio chiave per trasformare un modello di base in un assistente ed è spesso combinato con metodi come l'RLHF. Esempio: «Riassumi questo testo in tre frasi» viene eseguito in modo affidabile.

Fine-tuning
Modelli linguistici
+1

Transfer learning (apprendimento per trasferimento)

Nel transfer learning un modello che ha già imparato un compito ampio e generale viene usato come punto di partenza per un compito nuovo e specifico. Invece di partire da zero, lo si adatta, ad esempio con il fine-tuning, usando relativamente pochi dati propri. Si risparmiano così calcolo e dati, ad esempio quando un modello generico per immagini deve imparare a riconoscere difetti di produzione nelle foto.

Machine learning
Addestramento
+1

Modello fondazionale

Un modello fondazionale (foundation model) è un grande modello di IA preaddestrato su dati molto ampi e variegati, che si può poi usare per molti compiti diversi. Il termine è stato coniato all’Università di Stanford nel 2021. Esempi noti sono i grandi modelli linguistici come Claude o GPT, oltre ai modelli per immagini. Le aziende in genere costruiscono le proprie applicazioni su questi modelli invece di addestrarne di propri; il regolamento europeo sull’IA parla di modelli di IA per finalità generali.

Modello di base
Modelli linguistici
+1