Bagging (kort för bootstrap aggregating) är en ensemblemetod inom maskininlärning: många modeller tränas på slumpmässigt dragna urval av träningsdata, och deras förutsägelser medelvärdesbildas eller kombineras genom majoritetsröstning. Det gör resultaten stabilare och minskar överanpassning. Det mest kända exemplet är random forest, som kombinerar många beslutsträd – till exempel för att förutsäga kundbortfall eller priser.
Random forest-regression förutsäger numeriska värden genom att kombinera många beslutsträd. Varje träd tränas på ett slumpmässigt urval av data och ett slumpmässigt urval av särdrag; resultatet är medelvärdet av allaträds förutsägelser. Det gör metoden robustare och mindre benägen för överanpassning än ett enskilt träd. Den används till exempel för försäljningsprognoser, prisuppskattningar eller energibehov – ofta som en stabil utgångspunkt för tabelldata.
Boosting är en ensemblemetod inom maskininlärning där många enkla modeller tränas efter varandra och varje ny modell fokuserar på de fall som föregångarna fick fel. Tillsammans bildar de en betydligt mer träffsäker helhetsmodell. Välkända varianter är AdaBoost och gradient boosting, med bibliotek som XGBoost eller LightGBM. Boosting är särskilt stark på tabelldata, till exempel för kreditrisk-, försäljnings- eller kundbortfallsprognoser.
Ett beslutsträd är en modell som beskriver ett beslut som en följd av enkla ja/nej-frågor: varje gren testar en egenskap och varje löv ger ett utfall. Inom maskininlärning lärs sådana träd automatiskt från data och används för klassificering eller prognoser. Deras främsta styrka är transparens – de kan till exempel visa varför en låneansökan flaggades utifrån inkomst, löptid och betalningshistorik.
Överanpassning (overfitting) uppstår när en modell memorerar träningsdata, inklusive slumpmässiga egenheter och brus, i stället för att fånga allmängiltiga mönster. Den ser då mycket exakt ut på bekanta data men presterar dåligt på nya. Ett stort gap mellan träningsfel och testfel är ett typiskt tecken. Motåtgärder är fler eller mer varierade data, enklare modeller, regularisering, dropout och korsvalidering.
