Glossaire

Convergence

Qu’est-ce que Convergence ?

En apprentissage automatique, la convergence signifie qu'un entraînement se rapproche d'un état stable : la fonction de perte ne diminue presque plus et les paramètres du modèle ne varient que très peu. La convergence et sa vitesse dépendent notamment du taux d'apprentissage, de la qualité des données et de l'architecture. Si le taux est trop élevé, l'erreur oscille ; s'il est trop faible, l'entraînement dure inutilement. La convergence ne garantit pas un bon modèle, qui peut aussi être surajusté.

Thèmes

Entraînement
Optimisation
Apprentissage automatique

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

Descente de gradient

La descente de gradient est la méthode d’optimisation utilisée pour entraîner la plupart des modèles d’IA. On mesure l’erreur du modèle, on calcule dans quelle direction ses paramètres doivent changer pour la réduire, puis on fait un petit pas dans cette direction, encore et encore. C’est comme un randonneur dans le brouillard qui descend toujours la pente pour atteindre la vallée. La taille du pas (taux d’apprentissage) détermine la vitesse et la stabilité.

Optimisation
Entraînement
+1

Courbe d'apprentissage

En apprentissage automatique, une courbe d'apprentissage est un graphique montrant la performance ou l'erreur d'un modèle en fonction de la durée d'entraînement ou de la quantité de données, généralement séparément pour les données d'entraînement et de validation. Son allure indique si le modèle est sous- ou surajusté et si davantage de données aiderait. Si l'erreur de validation reste nettement au-dessus de l'erreur d'entraînement, par exemple, cela signale un surapprentissage. Dans le langage courant, le terme décrit aussi la vitesse à laquelle on maîtrise une nouvelle technologie.

Entraînement
Évaluation de modèles
+1

Erreur d'entraînement

L'erreur d'entraînement indique dans quelle mesure les prédictions d'un modèle s'écartent des valeurs correctes sur les données mêmes qui ont servi à l'entraîner. Prise isolément, elle renseigne peu : c'est la comparaison avec l'erreur de généralisation sur de nouvelles données qui compte. Une erreur d'entraînement élevée signale un sous-apprentissage ; une erreur très faible associée à une erreur de test élevée trahit généralement un surapprentissage.

Machine learning
Évaluation
+1

Optimisation des hyperparamètres

Les hyperparamètres sont des réglages fixés avant l'entraînement d'un modèle, comme le taux d'apprentissage, le nombre de couches ou l'intensité de la régularisation. L'optimisation des hyperparamètres recherche systématiquement la combinaison la plus performante sur des données de validation, par exemple par recherche en grille, recherche aléatoire ou optimisation bayésienne. Des valeurs bien choisies améliorent la précision et limitent le surapprentissage ou le sous-apprentissage, mais la recherche coûte du temps de calcul.

Entraînement
Qualité du modèle
+1