Glossaire

Aire sous la courbe (AUC)

Qu’est-ce que Aire sous la courbe (AUC) ?

L’aire sous la courbe (Area Under the Curve, AUC) est un indicateur pour les modèles de classification, généralement associé à la courbe ROC. Elle mesure la capacité d’un modèle à distinguer les cas positifs des cas négatifs, indépendamment d’un seuil donné. Une valeur de 1 signifie une séparation parfaite, 0,5 équivaut au hasard. Exemple : un modèle d’attrition avec une AUC de 0,85 juge un client partant plus risqué qu’un client fidèle dans 85 % des cas.

Thèmes

Métrique d’évaluation
ROC
Classification

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

Courbe ROC

La courbe ROC (receiver operating characteristic) montre dans quelle mesure un modèle de classification sépare deux classes. Pour chaque seuil de décision possible, elle représente le taux de vrais positifs (rappel) en fonction du taux de fausses alertes. Plus la courbe s'approche du coin supérieur gauche, meilleur est le modèle ; la diagonale correspond au hasard. L'aire sous la courbe (AUC) la résume en un seul chiffre et aide par exemple à comparer plusieurs modèles de détection de fraude.

métrique
évaluation de modèles
+1

F-score (mesure F1)

Le F-score est un indicateur d’évaluation des modèles de classification. La mesure F1, la plus courante, est la moyenne harmonique de la précision (part des résultats trouvés qui sont corrects) et du rappel (part des cas réels qui ont été trouvés) ; elle varie entre 0 et 1. Elle est particulièrement utile avec des données déséquilibrées : un filtre antispam qui ne signale presque jamais de spam peut afficher une exactitude élevée mais un F1 faible.

Métrique d’évaluation
Classification
+1

Matrice de confusion

Une matrice de confusion est un tableau qui compare les prédictions d'un classifieur aux classes réelles. Avec deux classes, elle indique les vrais positifs, faux positifs, vrais négatifs et faux négatifs. On en déduit des indicateurs comme la précision, le rappel et le score F1, et l'on voit quelles erreurs surviennent. Exemple : un filtre anti-spam qui classe beaucoup de vrais e-mails comme spam produit de nombreux faux positifs, souvent plus coûteux qu'un spam non détecté.

Évaluation de modèles
Classification
+1

Perte logarithmique (log loss)

La perte logarithmique (log loss) mesure dans quelle mesure les probabilités prédites par un modèle de classification correspondent aux résultats réels. Les prédictions sûres mais erronées sont pénalisées très fortement ; une valeur proche de zéro indique des prévisions bien calibrées. Exemple : si un modèle estime à 95 % le départ d’un client qui reste, la perte augmente nettement. Mathématiquement, elle équivaut à l’entropie croisée binaire.

métrique
classification
+1