Glossaire

Entropie croisée

Qu’est-ce que Entropie croisée ?

L'entropie croisée est une mesure issue de la théorie de l'information qui indique à quel point une distribution de probabilité prédite s'écarte de la distribution réelle. En apprentissage automatique, c'est la fonction de perte la plus courante pour la classification, ainsi que pour les modèles de langage qui prédisent le token suivant. Elle pénalise surtout les erreurs commises avec une grande confiance : attribuer 99 % à la mauvaise classe coûte bien plus qu'attribuer 60 %.

Thèmes

Fonction de perte
Entraînement
Statistiques

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

Perte logarithmique (log loss)

La perte logarithmique (log loss) mesure dans quelle mesure les probabilités prédites par un modèle de classification correspondent aux résultats réels. Les prédictions sûres mais erronées sont pénalisées très fortement ; une valeur proche de zéro indique des prévisions bien calibrées. Exemple : si un modèle estime à 95 % le départ d’un client qui reste, la perte augmente nettement. Mathématiquement, elle équivaut à l’entropie croisée binaire.

métrique
classification
+1

Descente de gradient

La descente de gradient est la méthode d’optimisation utilisée pour entraîner la plupart des modèles d’IA. On mesure l’erreur du modèle, on calcule dans quelle direction ses paramètres doivent changer pour la réduire, puis on fait un petit pas dans cette direction, encore et encore. C’est comme un randonneur dans le brouillard qui descend toujours la pente pour atteindre la vallée. La taille du pas (taux d’apprentissage) détermine la vitesse et la stabilité.

Optimisation
Entraînement
+1

Classifieur

Un classifieur est un modèle ou une méthode qui attribue une entrée à l'une de plusieurs catégories prédéfinies. Les variantes classiques, comme les arbres de décision ou le Naive Bayes, sont entraînées sur des exemples étiquetés ; les modèles de langage peuvent aussi classer des textes à partir d'une description des catégories. Usages typiques : détection de spam, tri des demandes clients par thème ou classement de justificatifs. La qualité se mesure avec des indicateurs comme l'exactitude, la précision et le rappel.

Classification
Apprentissage automatique
+1

Modèle

Convergence

En apprentissage automatique, la convergence signifie qu'un entraînement se rapproche d'un état stable : la fonction de perte ne diminue presque plus et les paramètres du modèle ne varient que très peu. La convergence et sa vitesse dépendent notamment du taux d'apprentissage, de la qualité des données et de l'architecture. Si le taux est trop élevé, l'erreur oscille ; s'il est trop faible, l'entraînement dure inutilement. La convergence ne garantit pas un bon modèle, qui peut aussi être surajusté.

Entraînement
Optimisation
+1