Gradient boosting er en maskinlæringsteknik, der kombinerer mange simple modeller – som regel små beslutningstræer – efter hinanden. Hvert nyt træ trænes specifikt til at mindske de resterende fejl fra de foregående. Resultatet er yderst nøjagtige modeller til tabeldata, f.eks. til kreditrisiko, salgsprognoser eller sandsynlighed for kundeafgang. Kendte implementeringer er XGBoost, LightGBM og CatBoost; omhyggelig tuning er nødvendig for at undgå overfitting.
XGBoost (Extreme Gradient Boosting) er et open source-bibliotek, der implementerer gradient boosting med beslutningstræer særligt effektivt. Mange små træer trænes efter hinanden, hvor hvert enkelt retter fejlene fra de foregående, mens regularisering er med til at forebygge overfitting. XGBoost regnes for et gennemprøvet valg til tabeldata, f.eks. til kreditrisikoscoring, churn-forudsigelse eller salgsprognoser.
LightGBM er et open source-bibliotek til gradient boosting med beslutningstræer, oprindelig udviklet af Microsoft. Det er konstrueret til hastighed og lavt hukommelsesforbrug, bl.a. gennem histogrambaseret træning og træer, der vokser bladvist ved det mest lovende blad. LightGBM egner sig især til store tabeldatasæt, f.eks. salgsprognoser, forudsigelse af kundeafgang eller opdagelse af svindel, og sammenlignes ofte med XGBoost.
Boosting er en ensemblemetode inden for maskinlæring, hvor mange simple modeller trænes efter hinanden, og hver ny model fokuserer på de tilfælde, som forgængerne tog fejl af. Tilsammen danner de en langt mere præcis samlet model. Kendte varianter er AdaBoost og gradient boosting med biblioteker som XGBoost eller LightGBM. Boosting er særlig stærk på tabeldata, for eksempel prognoser for kreditrisiko, salg eller kundeafgang.
Et beslutningstræ er en model, der fremstiller en beslutning som en række enkle ja/nej-spørgsmål: Hver gren tester ét træk, og hvert blad giver et udfald. I maskinlæring læres sådanne træer automatisk ud fra data og bruges til klassifikation eller prognoser. Deres største styrke er gennemsigtighed – f.eks. kan de vise, hvorfor en låneansøgning blev markeret ud fra indkomst, løbetid og betalingshistorik.
