La régularisation regroupe des techniques qui empêchent un modèle de trop coller à ses données d'entraînement (surapprentissage). On pénalise par exemple les poids trop élevés (régularisation L1 ou L2), on désactive aléatoirement des neurones (dropout) ou on arrête l'entraînement au bon moment (early stopping). L'objectif est un modèle plus simple, plus fiable sur des données nouvelles, même s'il obtient un score un peu inférieur sur les données d'entraînement.
Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.
Lancer la démoLe surapprentissage (overfitting) se produit lorsqu’un modèle mémorise les données d’entraînement, y compris leurs aléas et leur bruit, au lieu de saisir des régularités générales. Il paraît alors très précis sur les données connues, mais donne de mauvais résultats sur de nouvelles données. Un écart important entre erreur d’entraînement et erreur de test en est le signe typique. Les remèdes : davantage de données ou des données plus variées, des modèles plus simples, la régularisation, le dropout et la validation croisée.
Le dropout est une technique de régularisation utilisée lors de l'entraînement de réseaux de neurones : à chaque étape, une partie aléatoire des neurones est temporairement désactivée. Le réseau ne peut ainsi pas s'appuyer sur des connexions isolées et apprend des schémas plus robustes. Cela limite le surapprentissage, c'est-à-dire la simple mémorisation des données d'entraînement. Lors de l'utilisation du modèle final, tous les neurones sont de nouveau actifs.
L’erreur de généralisation mesure à quel point un modèle d’IA se trompe sur des données nouvelles, jamais vues, par opposition à son erreur sur les données d’entraînement. Un écart important entre les deux signale un surapprentissage : le modèle a mémorisé des exemples au lieu d’apprendre des régularités générales. On l’estime avec des données de test mises de côté ou par validation croisée. C’est la grandeur décisive, car en production le modèle ne rencontre presque que des cas nouveaux.
On parle de sous-apprentissage lorsqu'un modèle est trop simple pour saisir les relations présentes dans les données. Il commet alors de nombreuses erreurs dès les données d'entraînement comme sur de nouvelles données, par exemple quand une droite doit représenter une évolution nettement courbe. Pour y remédier : un modèle plus puissant, des variables plus parlantes, un entraînement plus long ou moins de régularisation ; le problème inverse est le surapprentissage.
