Gradient boosting är en maskininlärningsteknik som kombinerar många enkla modeller – oftast små beslutsträd – efter varandra. Varje nytt träd tränas särskilt för att minska de återstående felen hos de föregående. Resultatet är mycket träffsäkra modeller för tabelldata, till exempel för kreditrisk, försäljningsprognoser eller sannolikhet för kundbortfall. Kända implementeringar är XGBoost, LightGBM och CatBoost; noggrann justering krävs för att undvika överanpassning.
XGBoost (Extreme Gradient Boosting) är ett bibliotek med öppen källkod som implementerar gradient boosting med beslutsträd på ett särskilt effektivt sätt. Många små träd tränas efter varandra, där vart och ett rättar till föregångarnas fel, medan regularisering hjälper till att förebygga överanpassning. XGBoost anses vara ett beprövat val för tabelldata, till exempel vid kreditriskbedömning, förutsägelse av kundbortfall eller försäljningsprognoser.
LightGBM är ett bibliotek med öppen källkod för gradient boosting med beslutsträd, ursprungligen utvecklat av Microsoft. Det är konstruerat för snabbhet och lågt minnesbehov, bland annat genom histogrambaserad träning och träd som växer bladvis vid det mest lovande bladet. LightGBM lämpar sig särskilt för stora tabelldatamängder, till exempel försäljningsprognoser, prognoser över kundbortfall eller bedrägeriupptäckt, och jämförs ofta med XGBoost.
Boosting är en ensemblemetod inom maskininlärning där många enkla modeller tränas efter varandra och varje ny modell fokuserar på de fall som föregångarna fick fel. Tillsammans bildar de en betydligt mer träffsäker helhetsmodell. Välkända varianter är AdaBoost och gradient boosting, med bibliotek som XGBoost eller LightGBM. Boosting är särskilt stark på tabelldata, till exempel för kreditrisk-, försäljnings- eller kundbortfallsprognoser.
Ett beslutsträd är en modell som beskriver ett beslut som en följd av enkla ja/nej-frågor: varje gren testar en egenskap och varje löv ger ett utfall. Inom maskininlärning lärs sådana träd automatiskt från data och används för klassificering eller prognoser. Deras främsta styrka är transparens – de kan till exempel visa varför en låneansökan flaggades utifrån inkomst, löptid och betalningshistorik.
