Glossaire

Gradient boosting

Qu’est-ce que Gradient boosting ?

Le gradient boosting est une technique d’apprentissage automatique qui combine successivement de nombreux modèles simples, généralement de petits arbres de décision. Chaque nouvel arbre est entraîné pour réduire les erreurs restantes des précédents. On obtient ainsi des modèles très performants sur des données tabulaires, par exemple pour le risque de crédit, les prévisions de ventes ou la probabilité d’attrition. XGBoost, LightGBM et CatBoost en sont des implémentations connues ; un réglage soigneux évite le surapprentissage.

Thèmes

Apprentissage automatique
Méthode d’ensemble
Données tabulaires

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

XGBoost

XGBoost (Extreme Gradient Boosting) est une bibliothèque open source qui met en œuvre de façon particulièrement efficace le gradient boosting avec des arbres de décision. De nombreux petits arbres sont entraînés successivement, chacun corrigeant les erreurs des précédents, tandis que la régularisation limite le surapprentissage. XGBoost est un choix éprouvé pour les données tabulaires, par exemple pour l'évaluation du risque de crédit, la prévision de l'attrition ou des ventes.

Machine learning
Boosting
+1

LightGBM

LightGBM est une bibliothèque open source de gradient boosting à base d'arbres de décision, développée à l'origine par Microsoft. Elle vise la rapidité et une faible consommation de mémoire, notamment grâce à un entraînement fondé sur des histogrammes et à des arbres qui se développent feuille par feuille, à partir de la plus prometteuse. LightGBM convient particulièrement aux grands jeux de données tabulaires, par exemple pour la prévision des ventes, l'attrition ou la détection de fraude, et est souvent comparée à XGBoost.

Gradient boosting
Données tabulaires
+1

Boosting

Le boosting est une méthode d'ensemble en apprentissage automatique dans laquelle de nombreux modèles simples sont entraînés successivement, chacun se concentrant sur les cas où les précédents se sont trompés. Ensemble, ils forment un modèle global nettement plus précis. Les variantes connues sont AdaBoost et le gradient boosting, avec des bibliothèques comme XGBoost ou LightGBM. Le boosting excelle sur les données tabulaires, par exemple pour prévoir le risque de crédit, les ventes ou l'attrition.

Méthodes d'ensemble
Apprentissage automatique
+1

Arbre de décision

Un arbre de décision est un modèle qui représente une décision sous forme d’une suite de questions simples oui/non : chaque branche teste une caractéristique, chaque feuille donne un résultat. En apprentissage automatique, ces arbres sont appris à partir des données et servent à la classification ou à la prévision. Leur atout est la lisibilité, par exemple pour comprendre pourquoi une demande de crédit a été signalée selon le revenu, la durée et l’historique de paiement.

Apprentissage automatique
Classification
+1