XGBoost (Extreme Gradient Boosting) är ett bibliotek med öppen källkod som implementerar gradient boosting med beslutsträd på ett särskilt effektivt sätt. Många små träd tränas efter varandra, där vart och ett rättar till föregångarnas fel, medan regularisering hjälper till att förebygga överanpassning. XGBoost anses vara ett beprövat val för tabelldata, till exempel vid kreditriskbedömning, förutsägelse av kundbortfall eller försäljningsprognoser.
Gradient boosting är en maskininlärningsteknik som kombinerar många enkla modeller – oftast små beslutsträd – efter varandra. Varje nytt träd tränas särskilt för att minska de återstående felen hos de föregående. Resultatet är mycket träffsäkra modeller för tabelldata, till exempel för kreditrisk, försäljningsprognoser eller sannolikhet för kundbortfall. Kända implementeringar är XGBoost, LightGBM och CatBoost; noggrann justering krävs för att undvika överanpassning.
LightGBM är ett bibliotek med öppen källkod för gradient boosting med beslutsträd, ursprungligen utvecklat av Microsoft. Det är konstruerat för snabbhet och lågt minnesbehov, bland annat genom histogrambaserad träning och träd som växer bladvis vid det mest lovande bladet. LightGBM lämpar sig särskilt för stora tabelldatamängder, till exempel försäljningsprognoser, prognoser över kundbortfall eller bedrägeriupptäckt, och jämförs ofta med XGBoost.
Boosting är en ensemblemetod inom maskininlärning där många enkla modeller tränas efter varandra och varje ny modell fokuserar på de fall som föregångarna fick fel. Tillsammans bildar de en betydligt mer träffsäker helhetsmodell. Välkända varianter är AdaBoost och gradient boosting, med bibliotek som XGBoost eller LightGBM. Boosting är särskilt stark på tabelldata, till exempel för kreditrisk-, försäljnings- eller kundbortfallsprognoser.
Random forest-regression förutsäger numeriska värden genom att kombinera många beslutsträd. Varje träd tränas på ett slumpmässigt urval av data och ett slumpmässigt urval av särdrag; resultatet är medelvärdet av allaträds förutsägelser. Det gör metoden robustare och mindre benägen för överanpassning än ett enskilt träd. Den används till exempel för försäljningsprognoser, prisuppskattningar eller energibehov – ofta som en stabil utgångspunkt för tabelldata.
