Random forest-regression forudsiger numeriske værdier ved at kombinere mange beslutningstræer. Hvert træ trænes på en tilfældig stikprøve af dataene og et tilfældigt udvalg af features; resultatet er gennemsnittet af alle træernes forudsigelser. Det gør metoden mere robust og mindre tilbøjelig til overfitting end et enkelt træ. Den bruges f.eks. til salgsprognoser, prisvurderinger eller energibehov – ofte som et solidt udgangspunkt for tabeldata.
Et beslutningstræ er en model, der fremstiller en beslutning som en række enkle ja/nej-spørgsmål: Hver gren tester ét træk, og hvert blad giver et udfald. I maskinlæring læres sådanne træer automatisk ud fra data og bruges til klassifikation eller prognoser. Deres største styrke er gennemsigtighed – f.eks. kan de vise, hvorfor en låneansøgning blev markeret ud fra indkomst, løbetid og betalingshistorik.
Bagging (kort for bootstrap aggregating) er en ensemblemetode inden for maskinlæring: Mange modeller trænes på tilfældigt udtrukne stikprøver af træningsdataene, og deres forudsigelser tages som gennemsnit eller kombineres ved flertalsafstemning. Det gør resultaterne mere stabile og mindsker overfitting. Det bedst kendte eksempel er random forest, som kombinerer mange beslutningstræer – for eksempel til at forudsige kundeafgang eller priser.
Gradient boosting er en maskinlæringsteknik, der kombinerer mange simple modeller – som regel små beslutningstræer – efter hinanden. Hvert nyt træ trænes specifikt til at mindske de resterende fejl fra de foregående. Resultatet er yderst nøjagtige modeller til tabeldata, f.eks. til kreditrisiko, salgsprognoser eller sandsynlighed for kundeafgang. Kendte implementeringer er XGBoost, LightGBM og CatBoost; omhyggelig tuning er nødvendig for at undgå overfitting.
Lineær regression er en statistisk metode, der beskriver sammenhængen mellem en målvariabel og en eller flere prædiktorer ved hjælp af en ret linje eller et plan. Koefficienterne vælges som regel, så summen af de kvadrerede afvigelser bliver mindst mulig. Metoden er let at forstå og fortolke: Den kan f.eks. estimere, hvor meget omsætningen stiger, når reklamebudgettet øges med 1.000 €. Den når sine grænser ved ikke-lineære sammenhænge.
