Glossaire

Boosting

Qu’est-ce que Boosting ?

Le boosting est une méthode d'ensemble en apprentissage automatique dans laquelle de nombreux modèles simples sont entraînés successivement, chacun se concentrant sur les cas où les précédents se sont trompés. Ensemble, ils forment un modèle global nettement plus précis. Les variantes connues sont AdaBoost et le gradient boosting, avec des bibliothèques comme XGBoost ou LightGBM. Le boosting excelle sur les données tabulaires, par exemple pour prévoir le risque de crédit, les ventes ou l'attrition.

Thèmes

Méthodes d'ensemble
Apprentissage automatique
Données tabulaires

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

Gradient boosting

Le gradient boosting est une technique d’apprentissage automatique qui combine successivement de nombreux modèles simples, généralement de petits arbres de décision. Chaque nouvel arbre est entraîné pour réduire les erreurs restantes des précédents. On obtient ainsi des modèles très performants sur des données tabulaires, par exemple pour le risque de crédit, les prévisions de ventes ou la probabilité d’attrition. XGBoost, LightGBM et CatBoost en sont des implémentations connues ; un réglage soigneux évite le surapprentissage.

Apprentissage automatique
Méthode d’ensemble
+1

XGBoost

XGBoost (Extreme Gradient Boosting) est une bibliothèque open source qui met en œuvre de façon particulièrement efficace le gradient boosting avec des arbres de décision. De nombreux petits arbres sont entraînés successivement, chacun corrigeant les erreurs des précédents, tandis que la régularisation limite le surapprentissage. XGBoost est un choix éprouvé pour les données tabulaires, par exemple pour l'évaluation du risque de crédit, la prévision de l'attrition ou des ventes.

Machine learning
Boosting
+1

LightGBM

LightGBM est une bibliothèque open source de gradient boosting à base d'arbres de décision, développée à l'origine par Microsoft. Elle vise la rapidité et une faible consommation de mémoire, notamment grâce à un entraînement fondé sur des histogrammes et à des arbres qui se développent feuille par feuille, à partir de la plus prometteuse. LightGBM convient particulièrement aux grands jeux de données tabulaires, par exemple pour la prévision des ventes, l'attrition ou la détection de fraude, et est souvent comparée à XGBoost.

Gradient boosting
Données tabulaires
+1

Bagging

Le bagging (abréviation de bootstrap aggregating) est une méthode d'ensemble en apprentissage automatique : de nombreux modèles sont entraînés sur des échantillons tirés au hasard des données d'entraînement, puis leurs prédictions sont moyennées ou combinées par vote majoritaire. Les résultats gagnent en stabilité et le surapprentissage diminue. L'exemple le plus connu est la forêt aléatoire, qui combine de nombreux arbres de décision, par exemple pour prévoir l'attrition ou des prix.

Méthodes d'ensemble
Apprentissage automatique
+1