Le score BLEU (Bilingual Evaluation Understudy) est une métrique mise au point chez IBM en 2002 pour évaluer automatiquement les traductions automatiques. Il mesure combien de suites de mots d'une traduction figurent aussi dans une ou plusieurs traductions de référence humaines et donne une valeur entre 0 et 1 (souvent exprimée de 0 à 100). BLEU est rapide et comparable, mais saisit mal le sens et le style : de bonnes reformulations peuvent obtenir un score faible.
Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.
Lancer la démoROUGE (Recall-Oriented Understudy for Gisting Evaluation) est une famille de métriques qui compare des textes générés automatiquement, surtout des résumés, à des textes de référence rédigés par des personnes. Elle mesure combien de mots ou de suites de mots se recoupent, par exemple les mots isolés pour ROUGE-1 ou la plus longue sous-séquence commune pour ROUGE-L. Le score se calcule vite, mais il ne saisit fiablement ni les reformulations de même sens ni l'exactitude des faits.
En IA, le benchmarking désigne la comparaison systématique de modèles ou de systèmes à partir de tâches et de critères définis. Les benchmarks publics mesurent par exemple les connaissances générales, le raisonnement ou la programmation ; pour un usage concret, ce sont surtout des cas de test issus de votre propre activité qui comptent. On compare généralement exactitude, exhaustivité, temps de réponse et coût. Cela permet de savoir si un modèle plus petit et moins cher suffit pour une tâche.
Le F-score est un indicateur d’évaluation des modèles de classification. La mesure F1, la plus courante, est la moyenne harmonique de la précision (part des résultats trouvés qui sont corrects) et du rappel (part des cas réels qui ont été trouvés) ; elle varie entre 0 et 1. Elle est particulièrement utile avec des données déséquilibrées : un filtre antispam qui ne signale presque jamais de spam peut afficher une exactitude élevée mais un F1 faible.
Le traitement du langage naturel (Natural Language Processing) est la branche de l'IA qui permet aux ordinateurs d'analyser, de comprendre et de produire le langage humain, écrit ou oral. Il couvre des tâches comme la traduction, la classification, le résumé, l'analyse de sentiment ou les systèmes de questions-réponses. Longtemps dominé par des règles et des méthodes statistiques, le domaine est aujourd'hui façonné par les grands modèles de langage.
