Boosting är en ensemblemetod inom maskininlärning där många enkla modeller tränas efter varandra och varje ny modell fokuserar på de fall som föregångarna fick fel. Tillsammans bildar de en betydligt mer träffsäker helhetsmodell. Välkända varianter är AdaBoost och gradient boosting, med bibliotek som XGBoost eller LightGBM. Boosting är särskilt stark på tabelldata, till exempel för kreditrisk-, försäljnings- eller kundbortfallsprognoser.
Gradient boosting är en maskininlärningsteknik som kombinerar många enkla modeller – oftast små beslutsträd – efter varandra. Varje nytt träd tränas särskilt för att minska de återstående felen hos de föregående. Resultatet är mycket träffsäkra modeller för tabelldata, till exempel för kreditrisk, försäljningsprognoser eller sannolikhet för kundbortfall. Kända implementeringar är XGBoost, LightGBM och CatBoost; noggrann justering krävs för att undvika överanpassning.
XGBoost (Extreme Gradient Boosting) är ett bibliotek med öppen källkod som implementerar gradient boosting med beslutsträd på ett särskilt effektivt sätt. Många små träd tränas efter varandra, där vart och ett rättar till föregångarnas fel, medan regularisering hjälper till att förebygga överanpassning. XGBoost anses vara ett beprövat val för tabelldata, till exempel vid kreditriskbedömning, förutsägelse av kundbortfall eller försäljningsprognoser.
LightGBM är ett bibliotek med öppen källkod för gradient boosting med beslutsträd, ursprungligen utvecklat av Microsoft. Det är konstruerat för snabbhet och lågt minnesbehov, bland annat genom histogrambaserad träning och träd som växer bladvis vid det mest lovande bladet. LightGBM lämpar sig särskilt för stora tabelldatamängder, till exempel försäljningsprognoser, prognoser över kundbortfall eller bedrägeriupptäckt, och jämförs ofta med XGBoost.
Bagging (kort för bootstrap aggregating) är en ensemblemetod inom maskininlärning: många modeller tränas på slumpmässigt dragna urval av träningsdata, och deras förutsägelser medelvärdesbildas eller kombineras genom majoritetsröstning. Det gör resultaten stabilare och minskar överanpassning. Det mest kända exemplet är random forest, som kombinerar många beslutsträd – till exempel för att förutsäga kundbortfall eller priser.
