La rétropropagation du gradient (backpropagation) est la méthode standard d'apprentissage des réseaux de neurones. Après chaque prédiction, l'erreur est mesurée puis propagée à rebours à travers les couches, ce qui indique la contribution de chaque poids. Une méthode d'optimisation comme la descente de gradient ajuste ensuite les poids pas à pas. Sans rétropropagation, l'entraînement des modèles de langage et d'image actuels serait pratiquement impossible.
Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.
Lancer la démoLa descente de gradient est la méthode d’optimisation utilisée pour entraîner la plupart des modèles d’IA. On mesure l’erreur du modèle, on calcule dans quelle direction ses paramètres doivent changer pour la réduire, puis on fait un petit pas dans cette direction, encore et encore. C’est comme un randonneur dans le brouillard qui descend toujours la pente pour atteindre la vallée. La taille du pas (taux d’apprentissage) détermine la vitesse et la stabilité.
Les réseaux de neurones artificiels (RNA) sont des modèles de calcul composés de nombreuses unités connectées (« neurones »), organisées en couches, qui traitent les entrées via des connexions pondérées. Pendant l'entraînement, les poids sont ajustés progressivement à partir d'exemples, le plus souvent par rétropropagation. Les RNA sont à la base de l'apprentissage profond et se retrouvent dans la reconnaissance d'images et de la parole ainsi que dans les grands modèles de langage. Malgré leur inspiration biologique, ils fonctionnent bien plus simplement que le cerveau humain.
Les fonctions d'activation déterminent avec quelle intensité un neurone d'un réseau de neurones artificiels transmet son signal. Elles introduisent la non-linéarité, sans laquelle le réseau ne pourrait pas représenter des relations complexes comme le langage ou les images. Exemples courants : ReLU, qui ramène les valeurs négatives à zéro, la sigmoïde pour des probabilités entre 0 et 1, et GELU, utilisée dans de nombreux modèles transformer. Ce choix influe sur la vitesse et la stabilité de l'entraînement.
L'entropie croisée est une mesure issue de la théorie de l'information qui indique à quel point une distribution de probabilité prédite s'écarte de la distribution réelle. En apprentissage automatique, c'est la fonction de perte la plus courante pour la classification, ainsi que pour les modèles de langage qui prédisent le token suivant. Elle pénalise surtout les erreurs commises avec une grande confiance : attribuer 99 % à la mauvaise classe coûte bien plus qu'attribuer 60 %.
