Bagging (kort for bootstrap aggregating) er en ensemblemetode inden for maskinlæring: Mange modeller trænes på tilfældigt udtrukne stikprøver af træningsdataene, og deres forudsigelser tages som gennemsnit eller kombineres ved flertalsafstemning. Det gør resultaterne mere stabile og mindsker overfitting. Det bedst kendte eksempel er random forest, som kombinerer mange beslutningstræer – for eksempel til at forudsige kundeafgang eller priser.
Random forest-regression forudsiger numeriske værdier ved at kombinere mange beslutningstræer. Hvert træ trænes på en tilfældig stikprøve af dataene og et tilfældigt udvalg af features; resultatet er gennemsnittet af alle træernes forudsigelser. Det gør metoden mere robust og mindre tilbøjelig til overfitting end et enkelt træ. Den bruges f.eks. til salgsprognoser, prisvurderinger eller energibehov – ofte som et solidt udgangspunkt for tabeldata.
Boosting er en ensemblemetode inden for maskinlæring, hvor mange simple modeller trænes efter hinanden, og hver ny model fokuserer på de tilfælde, som forgængerne tog fejl af. Tilsammen danner de en langt mere præcis samlet model. Kendte varianter er AdaBoost og gradient boosting med biblioteker som XGBoost eller LightGBM. Boosting er særlig stærk på tabeldata, for eksempel prognoser for kreditrisiko, salg eller kundeafgang.
Et beslutningstræ er en model, der fremstiller en beslutning som en række enkle ja/nej-spørgsmål: Hver gren tester ét træk, og hvert blad giver et udfald. I maskinlæring læres sådanne træer automatisk ud fra data og bruges til klassifikation eller prognoser. Deres største styrke er gennemsigtighed – f.eks. kan de vise, hvorfor en låneansøgning blev markeret ud fra indkomst, løbetid og betalingshistorik.
Overfitting opstår, når en model lærer træningsdataene udenad, inklusive tilfældige særheder og støj, i stedet for at fange generelt gyldige mønstre. Den virker så meget nøjagtig på kendte data, men klarer sig dårligt på nye data. En stor forskel mellem trænings- og testfejl er et typisk tegn. Modforanstaltninger er flere eller mere varierede data, enklere modeller, regularisering, dropout og krydsvalidering.
