Le F-score est un indicateur d’évaluation des modèles de classification. La mesure F1, la plus courante, est la moyenne harmonique de la précision (part des résultats trouvés qui sont corrects) et du rappel (part des cas réels qui ont été trouvés) ; elle varie entre 0 et 1. Elle est particulièrement utile avec des données déséquilibrées : un filtre antispam qui ne signale presque jamais de spam peut afficher une exactitude élevée mais un F1 faible.
Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.
Lancer la démoLe rappel (recall, sensibilité) mesure la part des cas réellement positifs qu'un modèle détecte : vrais positifs divisés par l'ensemble des positifs réels. Si un filtre antifraude repère 80 fraudes sur 100 réelles, son rappel est de 0,8. Un rappel élevé est essentiel lorsque les cas manqués coûtent cher, par exemple en diagnostic médical. Comme il ignore les fausses alertes, on l'examine généralement avec la précision, par exemple dans le F-score.
Une matrice de confusion est un tableau qui compare les prédictions d'un classifieur aux classes réelles. Avec deux classes, elle indique les vrais positifs, faux positifs, vrais négatifs et faux négatifs. On en déduit des indicateurs comme la précision, le rappel et le score F1, et l'on voit quelles erreurs surviennent. Exemple : un filtre anti-spam qui classe beaucoup de vrais e-mails comme spam produit de nombreux faux positifs, souvent plus coûteux qu'un spam non détecté.
L’aire sous la courbe (Area Under the Curve, AUC) est un indicateur pour les modèles de classification, généralement associé à la courbe ROC. Elle mesure la capacité d’un modèle à distinguer les cas positifs des cas négatifs, indépendamment d’un seuil donné. Une valeur de 1 signifie une séparation parfaite, 0,5 équivaut au hasard. Exemple : un modèle d’attrition avec une AUC de 0,85 juge un client partant plus risqué qu’un client fidèle dans 85 % des cas.
La précision top-k mesure la fréquence à laquelle la bonne réponse figure parmi les k propositions les plus probables d'un modèle. En top-1, seule la première prédiction compte ; en top-5, il suffit que la bonne classe soit parmi les cinq premières, une mesure connue des bancs d'essai de reconnaissance d'images comme ImageNet. Elle est pertinente dès que l'utilisateur voit plusieurs suggestions, par exemple des recommandations de produits ou l'autocomplétion.
