Random forest-regression förutsäger numeriska värden genom att kombinera många beslutsträd. Varje träd tränas på ett slumpmässigt urval av data och ett slumpmässigt urval av särdrag; resultatet är medelvärdet av allaträds förutsägelser. Det gör metoden robustare och mindre benägen för överanpassning än ett enskilt träd. Den används till exempel för försäljningsprognoser, prisuppskattningar eller energibehov – ofta som en stabil utgångspunkt för tabelldata.
Ett beslutsträd är en modell som beskriver ett beslut som en följd av enkla ja/nej-frågor: varje gren testar en egenskap och varje löv ger ett utfall. Inom maskininlärning lärs sådana träd automatiskt från data och används för klassificering eller prognoser. Deras främsta styrka är transparens – de kan till exempel visa varför en låneansökan flaggades utifrån inkomst, löptid och betalningshistorik.
Bagging (kort för bootstrap aggregating) är en ensemblemetod inom maskininlärning: många modeller tränas på slumpmässigt dragna urval av träningsdata, och deras förutsägelser medelvärdesbildas eller kombineras genom majoritetsröstning. Det gör resultaten stabilare och minskar överanpassning. Det mest kända exemplet är random forest, som kombinerar många beslutsträd – till exempel för att förutsäga kundbortfall eller priser.
Gradient boosting är en maskininlärningsteknik som kombinerar många enkla modeller – oftast små beslutsträd – efter varandra. Varje nytt träd tränas särskilt för att minska de återstående felen hos de föregående. Resultatet är mycket träffsäkra modeller för tabelldata, till exempel för kreditrisk, försäljningsprognoser eller sannolikhet för kundbortfall. Kända implementeringar är XGBoost, LightGBM och CatBoost; noggrann justering krävs för att undvika överanpassning.
Linjär regression är en statistisk metod som beskriver sambandet mellan en målvariabel och en eller flera prediktorer med en rät linje eller ett plan. Koefficienterna väljs vanligtvis så att summan av de kvadrerade avvikelserna minimeras. Metoden är lätt att förstå och tolka: den kan till exempel uppskatta hur mycket intäkterna stiger när reklambudgeten ökar med 1 000 kr. Den når sina gränser vid icke-linjära samband.
