Bagging (lühend ingliskeelsest väljendist bootstrap aggregating) on masinõppe ansamblimeetod: paljusid mudeleid treenitakse treeningandmete juhuslikult valitud valimitel ja nende ennustused keskmistatakse või ühendatakse häälteenamusega. See muudab tulemused stabiilsemaks ja vähendab ülesobitamist. Tuntuim näide on juhuslik mets, mis ühendab palju otsustuspuid – näiteks klientide lahkumise või hindade ennustamiseks.
Juhumetsa regressioon ennustab arvväärtusi, kombineerides paljusid otsustuspuid. Iga puud treenitakse andmete juhuvalimil ja tunnuste juhuslikul valikul; tulemus on kõigi puude ennustuste keskmine. See muudab meetodi töökindlamaks ja vähem ülesobitamisele kalduvaks kui üksik puu. Seda kasutatakse näiteks müügiprognoosideks, hinnahinnanguteks või energiavajaduse ennustamiseks – sageli tugeva lähtepunktina tabeliandmete jaoks.
Võimendamine (boosting) on masinõppe ansamblimeetod, mille puhul treenitakse üksteise järel palju lihtsaid mudeleid, kusjuures iga uus mudel keskendub juhtumitele, milles eelkäijad eksisid. Koos moodustavad nad palju täpsema üldmudeli. Tuntud variandid on AdaBoost ja gradientvõimendamine koos teekidega, nagu XGBoost või LightGBM. Boosting on eriti tugev tabelandmete puhul, näiteks krediidiriski, müügi või klientide lahkumise prognoosimisel.
Otsustuspuu on mudel, mis kujutab otsust lihtsate jah/ei-küsimuste jadana: iga haru kontrollib ühte tunnust ja iga leht annab tulemuse. Masinõppes õpitakse sellised puud andmetest automaatselt ja neid kasutatakse klassifitseerimiseks või prognoosimiseks. Nende peamine tugevus on läbipaistvus – näiteks näitavad need, miks laenutaotlus sissetuleku, tähtaja ja maksete ajaloo põhjal märgiti.
Ülesobitamine (overfitting) tekib siis, kui mudel jätab treeningandmed, sealhulgas juhuslikud omapärad ja müra, pähe, selle asemel et tabada üldkehtivaid mustreid. Siis tundub see tuttavate andmete puhul väga täpne, kuid toimib uute andmete puhul halvasti. Tüüpiline märk on suur vahe treening- ja testivea vahel. Vastumeetmed on rohkem või mitmekesisemad andmed, lihtsamad mudelid, regulariseerimine, dropout ja ristvalideerimine.
