Glossaire

Affinage efficace en paramètres (PEFT)

Qu’est-ce que Affinage efficace en paramètres (PEFT) ?

Le Parameter-Efficient Fine-Tuning (PEFT) regroupe des techniques qui adaptent un grand modèle pré-entraîné à une tâche en n’entraînant qu’une petite partie de ses paramètres ou en ajoutant quelques paramètres supplémentaires. Parmi les méthodes connues figurent LoRA, QLoRA, les adaptateurs et le prefix tuning. Les besoins en calcul et en mémoire diminuent fortement, et l’on peut conserver de petits modules par tâche au lieu de copies complètes du modèle. Exemple : adapter un modèle de langage au style de documents techniques internes.

Thèmes

affinage
entraînement
efficacité

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

Réglage fin (fine-tuning)

Le réglage fin (fine-tuning) consiste à poursuivre l’entraînement d’un modèle d’IA déjà pré-entraîné avec des données supplémentaires, généralement propres à une tâche. Ses poids internes sont ajustés pour qu’il maîtrise plus sûrement un style d’écriture, un vocabulaire spécialisé ou un format de sortie. Cela exige des exemples soigneusement préparés, de la puissance de calcul et des tests. Pour beaucoup d’usages, des instructions bien rédigées et des connaissances connectées suffisent et se modifient plus facilement.

Entraînement
Personnalisation
+1

Ajustement par instructions (instruction tuning)

L'instruction tuning est une forme d'affinage dans laquelle un modèle de langage pré-entraîné est entraîné davantage sur de nombreuses paires associant une consigne et la réponse attendue. Le modèle apprend ainsi à exécuter des tâches formulées en langage naturel, au lieu de simplement prolonger un texte. C'est une étape clé pour passer d'un modèle de base à un assistant, souvent combinée à des méthodes comme le RLHF. Exemple : « Résume ce texte en trois phrases » est exécuté de façon fiable.

Affinage
Modèles de langage
+1

Apprentissage par transfert

Dans l'apprentissage par transfert (transfer learning), un modèle déjà entraîné sur une vaste tâche générale sert de point de départ pour une tâche nouvelle et spécialisée. Au lieu de repartir de zéro, on l'adapte, par exemple par réglage fin, avec relativement peu de données propres. On économise ainsi temps de calcul et données, par exemple lorsqu'un modèle d'images généraliste doit apprendre à repérer des défauts de fabrication sur des photos.

Machine learning
Entraînement
+1

Modèle de fondation

Un modèle de fondation est un grand modèle d’IA pré-entraîné sur des données très vastes et variées, qui peut ensuite servir à de nombreuses tâches différentes. Le terme a été forgé à l’université Stanford en 2021. Exemples connus : les grands modèles de langage comme Claude ou GPT. Les entreprises bâtissent généralement leurs applications sur ces modèles plutôt que d’en entraîner un elles-mêmes ; le règlement européen sur l’IA parle de modèles d’IA à usage général.

Modèle de base
Modèles de langage
+1