Glossaire

XGBoost

Qu’est-ce que XGBoost ?

XGBoost (Extreme Gradient Boosting) est une bibliothèque open source qui met en œuvre de façon particulièrement efficace le gradient boosting avec des arbres de décision. De nombreux petits arbres sont entraînés successivement, chacun corrigeant les erreurs des précédents, tandis que la régularisation limite le surapprentissage. XGBoost est un choix éprouvé pour les données tabulaires, par exemple pour l'évaluation du risque de crédit, la prévision de l'attrition ou des ventes.

Thèmes

Machine learning
Boosting
Open source

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

Gradient boosting

Le gradient boosting est une technique d’apprentissage automatique qui combine successivement de nombreux modèles simples, généralement de petits arbres de décision. Chaque nouvel arbre est entraîné pour réduire les erreurs restantes des précédents. On obtient ainsi des modèles très performants sur des données tabulaires, par exemple pour le risque de crédit, les prévisions de ventes ou la probabilité d’attrition. XGBoost, LightGBM et CatBoost en sont des implémentations connues ; un réglage soigneux évite le surapprentissage.

Apprentissage automatique
Méthode d’ensemble
+1

LightGBM

LightGBM est une bibliothèque open source de gradient boosting à base d'arbres de décision, développée à l'origine par Microsoft. Elle vise la rapidité et une faible consommation de mémoire, notamment grâce à un entraînement fondé sur des histogrammes et à des arbres qui se développent feuille par feuille, à partir de la plus prometteuse. LightGBM convient particulièrement aux grands jeux de données tabulaires, par exemple pour la prévision des ventes, l'attrition ou la détection de fraude, et est souvent comparée à XGBoost.

Gradient boosting
Données tabulaires
+1

Boosting

Le boosting est une méthode d'ensemble en apprentissage automatique dans laquelle de nombreux modèles simples sont entraînés successivement, chacun se concentrant sur les cas où les précédents se sont trompés. Ensemble, ils forment un modèle global nettement plus précis. Les variantes connues sont AdaBoost et le gradient boosting, avec des bibliothèques comme XGBoost ou LightGBM. Le boosting excelle sur les données tabulaires, par exemple pour prévoir le risque de crédit, les ventes ou l'attrition.

Méthodes d'ensemble
Apprentissage automatique
+1

Régression par forêt aléatoire

La régression par forêt aléatoire prédit des valeurs numériques en combinant de nombreux arbres de décision. Chaque arbre est entraîné sur un échantillon aléatoire des données et une sélection aléatoire de variables ; le résultat est la moyenne des prédictions de tous les arbres. La méthode est ainsi plus robuste et moins sujette au surapprentissage qu'un arbre unique. On l'utilise par exemple pour des prévisions de ventes, des estimations de prix ou de besoins énergétiques, souvent comme point de départ solide sur des données tabulaires.

régression
méthode d'ensemble
+1