Boosting er en ensemblemetode inden for maskinlæring, hvor mange simple modeller trænes efter hinanden, og hver ny model fokuserer på de tilfælde, som forgængerne tog fejl af. Tilsammen danner de en langt mere præcis samlet model. Kendte varianter er AdaBoost og gradient boosting med biblioteker som XGBoost eller LightGBM. Boosting er særlig stærk på tabeldata, for eksempel prognoser for kreditrisiko, salg eller kundeafgang.
Gradient boosting er en maskinlæringsteknik, der kombinerer mange simple modeller – som regel små beslutningstræer – efter hinanden. Hvert nyt træ trænes specifikt til at mindske de resterende fejl fra de foregående. Resultatet er yderst nøjagtige modeller til tabeldata, f.eks. til kreditrisiko, salgsprognoser eller sandsynlighed for kundeafgang. Kendte implementeringer er XGBoost, LightGBM og CatBoost; omhyggelig tuning er nødvendig for at undgå overfitting.
XGBoost (Extreme Gradient Boosting) er et open source-bibliotek, der implementerer gradient boosting med beslutningstræer særligt effektivt. Mange små træer trænes efter hinanden, hvor hvert enkelt retter fejlene fra de foregående, mens regularisering er med til at forebygge overfitting. XGBoost regnes for et gennemprøvet valg til tabeldata, f.eks. til kreditrisikoscoring, churn-forudsigelse eller salgsprognoser.
LightGBM er et open source-bibliotek til gradient boosting med beslutningstræer, oprindelig udviklet af Microsoft. Det er konstrueret til hastighed og lavt hukommelsesforbrug, bl.a. gennem histogrambaseret træning og træer, der vokser bladvist ved det mest lovende blad. LightGBM egner sig især til store tabeldatasæt, f.eks. salgsprognoser, forudsigelse af kundeafgang eller opdagelse af svindel, og sammenlignes ofte med XGBoost.
Bagging (kort for bootstrap aggregating) er en ensemblemetode inden for maskinlæring: Mange modeller trænes på tilfældigt udtrukne stikprøver af træningsdataene, og deres forudsigelser tages som gennemsnit eller kombineres ved flertalsafstemning. Det gør resultaterne mere stabile og mindsker overfitting. Det bedst kendte eksempel er random forest, som kombinerer mange beslutningstræer – for eksempel til at forudsige kundeafgang eller priser.
