Glossaire

Normalisation par lots

Qu’est-ce que Normalisation par lots ?

La normalisation par lots (batch normalization) est une technique d'entraînement des réseaux de neurones profonds qui ramène les valeurs intermédiaires d'une couche, pour chaque lot de données, à une moyenne et une dispersion homogènes. L'entraînement devient plus stable et souvent plus rapide, et le réseau dépend moins de ses valeurs initiales. Présentée en 2015, elle est répandue dans les réseaux de reconnaissance d'images ; les transformers utilisent plutôt la normalisation par couche, qui lui est apparentée.

Thèmes

Apprentissage profond
Entraînement
Réseaux de neurones

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

Apprentissage profond

L'apprentissage profond (deep learning) est une branche de l'apprentissage automatique qui utilise des réseaux de neurones artificiels à nombreuses couches. Ces réseaux apprennent eux-mêmes, à partir de grandes quantités de données, quelles caractéristiques comptent – des contours dans les images aux liens de sens dans les textes. Il est à la base des modèles de langage actuels, de la reconnaissance d'images et de la parole ainsi que de la traduction automatique, et exige généralement beaucoup de puissance de calcul et de données.

réseaux de neurones
apprentissage automatique
+1

Dropout

Le dropout est une technique de régularisation utilisée lors de l'entraînement de réseaux de neurones : à chaque étape, une partie aléatoire des neurones est temporairement désactivée. Le réseau ne peut ainsi pas s'appuyer sur des connexions isolées et apprend des schémas plus robustes. Cela limite le surapprentissage, c'est-à-dire la simple mémorisation des données d'entraînement. Lors de l'utilisation du modèle final, tous les neurones sont de nouveau actifs.

entraînement
régularisation
+1

Régularisation

La régularisation regroupe des techniques qui empêchent un modèle de trop coller à ses données d'entraînement (surapprentissage). On pénalise par exemple les poids trop élevés (régularisation L1 ou L2), on désactive aléatoirement des neurones (dropout) ou on arrête l'entraînement au bon moment (early stopping). L'objectif est un modèle plus simple, plus fiable sur des données nouvelles, même s'il obtient un score un peu inférieur sur les données d'entraînement.

entraînement
surapprentissage
+1

Descente de gradient

La descente de gradient est la méthode d’optimisation utilisée pour entraîner la plupart des modèles d’IA. On mesure l’erreur du modèle, on calcule dans quelle direction ses paramètres doivent changer pour la réduire, puis on fait un petit pas dans cette direction, encore et encore. C’est comme un randonneur dans le brouillard qui descend toujours la pente pour atteindre la vallée. La taille du pas (taux d’apprentissage) détermine la vitesse et la stabilité.

Optimisation
Entraînement
+1