Le dropout est une technique de régularisation utilisée lors de l'entraînement de réseaux de neurones : à chaque étape, une partie aléatoire des neurones est temporairement désactivée. Le réseau ne peut ainsi pas s'appuyer sur des connexions isolées et apprend des schémas plus robustes. Cela limite le surapprentissage, c'est-à-dire la simple mémorisation des données d'entraînement. Lors de l'utilisation du modèle final, tous les neurones sont de nouveau actifs.
Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.
Lancer la démoLe surapprentissage (overfitting) se produit lorsqu’un modèle mémorise les données d’entraînement, y compris leurs aléas et leur bruit, au lieu de saisir des régularités générales. Il paraît alors très précis sur les données connues, mais donne de mauvais résultats sur de nouvelles données. Un écart important entre erreur d’entraînement et erreur de test en est le signe typique. Les remèdes : davantage de données ou des données plus variées, des modèles plus simples, la régularisation, le dropout et la validation croisée.
La régularisation regroupe des techniques qui empêchent un modèle de trop coller à ses données d'entraînement (surapprentissage). On pénalise par exemple les poids trop élevés (régularisation L1 ou L2), on désactive aléatoirement des neurones (dropout) ou on arrête l'entraînement au bon moment (early stopping). L'objectif est un modèle plus simple, plus fiable sur des données nouvelles, même s'il obtient un score un peu inférieur sur les données d'entraînement.
Les réseaux de neurones artificiels (RNA) sont des modèles de calcul composés de nombreuses unités connectées (« neurones »), organisées en couches, qui traitent les entrées via des connexions pondérées. Pendant l'entraînement, les poids sont ajustés progressivement à partir d'exemples, le plus souvent par rétropropagation. Les RNA sont à la base de l'apprentissage profond et se retrouvent dans la reconnaissance d'images et de la parole ainsi que dans les grands modèles de langage. Malgré leur inspiration biologique, ils fonctionnent bien plus simplement que le cerveau humain.
La normalisation par lots (batch normalization) est une technique d'entraînement des réseaux de neurones profonds qui ramène les valeurs intermédiaires d'une couche, pour chaque lot de données, à une moyenne et une dispersion homogènes. L'entraînement devient plus stable et souvent plus rapide, et le réseau dépend moins de ses valeurs initiales. Présentée en 2015, elle est répandue dans les réseaux de reconnaissance d'images ; les transformers utilisent plutôt la normalisation par couche, qui lui est apparentée.
