Dans l'apprentissage par transfert (transfer learning), un modèle déjà entraîné sur une vaste tâche générale sert de point de départ pour une tâche nouvelle et spécialisée. Au lieu de repartir de zéro, on l'adapte, par exemple par réglage fin, avec relativement peu de données propres. On économise ainsi temps de calcul et données, par exemple lorsqu'un modèle d'images généraliste doit apprendre à repérer des défauts de fabrication sur des photos.
Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.
Lancer la démoLe réglage fin (fine-tuning) consiste à poursuivre l’entraînement d’un modèle d’IA déjà pré-entraîné avec des données supplémentaires, généralement propres à une tâche. Ses poids internes sont ajustés pour qu’il maîtrise plus sûrement un style d’écriture, un vocabulaire spécialisé ou un format de sortie. Cela exige des exemples soigneusement préparés, de la puissance de calcul et des tests. Pour beaucoup d’usages, des instructions bien rédigées et des connaissances connectées suffisent et se modifient plus facilement.
Un modèle de fondation est un grand modèle d’IA pré-entraîné sur des données très vastes et variées, qui peut ensuite servir à de nombreuses tâches différentes. Le terme a été forgé à l’université Stanford en 2021. Exemples connus : les grands modèles de langage comme Claude ou GPT. Les entreprises bâtissent généralement leurs applications sur ces modèles plutôt que d’en entraîner un elles-mêmes ; le règlement européen sur l’IA parle de modèles d’IA à usage général.
Le Parameter-Efficient Fine-Tuning (PEFT) regroupe des techniques qui adaptent un grand modèle pré-entraîné à une tâche en n’entraînant qu’une petite partie de ses paramètres ou en ajoutant quelques paramètres supplémentaires. Parmi les méthodes connues figurent LoRA, QLoRA, les adaptateurs et le prefix tuning. Les besoins en calcul et en mémoire diminuent fortement, et l’on peut conserver de petits modules par tâche au lieu de copies complètes du modèle. Exemple : adapter un modèle de langage au style de documents techniques internes.
