XGBoost (Extreme Gradient Boosting) er et open source-bibliotek, der implementerer gradient boosting med beslutningstræer særligt effektivt. Mange små træer trænes efter hinanden, hvor hvert enkelt retter fejlene fra de foregående, mens regularisering er med til at forebygge overfitting. XGBoost regnes for et gennemprøvet valg til tabeldata, f.eks. til kreditrisikoscoring, churn-forudsigelse eller salgsprognoser.
Gradient boosting er en maskinlæringsteknik, der kombinerer mange simple modeller – som regel små beslutningstræer – efter hinanden. Hvert nyt træ trænes specifikt til at mindske de resterende fejl fra de foregående. Resultatet er yderst nøjagtige modeller til tabeldata, f.eks. til kreditrisiko, salgsprognoser eller sandsynlighed for kundeafgang. Kendte implementeringer er XGBoost, LightGBM og CatBoost; omhyggelig tuning er nødvendig for at undgå overfitting.
LightGBM er et open source-bibliotek til gradient boosting med beslutningstræer, oprindelig udviklet af Microsoft. Det er konstrueret til hastighed og lavt hukommelsesforbrug, bl.a. gennem histogrambaseret træning og træer, der vokser bladvist ved det mest lovende blad. LightGBM egner sig især til store tabeldatasæt, f.eks. salgsprognoser, forudsigelse af kundeafgang eller opdagelse af svindel, og sammenlignes ofte med XGBoost.
Boosting er en ensemblemetode inden for maskinlæring, hvor mange simple modeller trænes efter hinanden, og hver ny model fokuserer på de tilfælde, som forgængerne tog fejl af. Tilsammen danner de en langt mere præcis samlet model. Kendte varianter er AdaBoost og gradient boosting med biblioteker som XGBoost eller LightGBM. Boosting er særlig stærk på tabeldata, for eksempel prognoser for kreditrisiko, salg eller kundeafgang.
Random forest-regression forudsiger numeriske værdier ved at kombinere mange beslutningstræer. Hvert træ trænes på en tilfældig stikprøve af dataene og et tilfældigt udvalg af features; resultatet er gennemsnittet af alle træernes forudsigelser. Det gør metoden mere robust og mindre tilbøjelig til overfitting end et enkelt træ. Den bruges f.eks. til salgsprognoser, prisvurderinger eller energibehov – ofte som et solidt udgangspunkt for tabeldata.
