Võimendamine (boosting) on masinõppe ansamblimeetod, mille puhul treenitakse üksteise järel palju lihtsaid mudeleid, kusjuures iga uus mudel keskendub juhtumitele, milles eelkäijad eksisid. Koos moodustavad nad palju täpsema üldmudeli. Tuntud variandid on AdaBoost ja gradientvõimendamine koos teekidega, nagu XGBoost või LightGBM. Boosting on eriti tugev tabelandmete puhul, näiteks krediidiriski, müügi või klientide lahkumise prognoosimisel.
Gradientvõimendus (gradient boosting) on masinõppe võte, mis ühendab paljusid lihtsaid mudeleid – tavaliselt väikseid otsustuspuid – üksteise järel. Iga uut puud treenitakse spetsiaalselt eelmiste järelejäänud vigade vähendamiseks. Tulemuseks on tabelandmete jaoks väga täpsed mudelid, näiteks krediidiriski, müügiprognooside või klientide lahkumise tõenäosuse hindamiseks. Tuntud teostused on XGBoost, LightGBM ja CatBoost; ülesobitamise vältimiseks on vaja hoolikat häälestamist.
XGBoost (Extreme Gradient Boosting) on avatud lähtekoodiga teek, mis rakendab otsustuspuudega gradientvõimendust eriti tõhusalt. Paljusid väikeseid puid treenitakse üksteise järel, igaüks parandab eelmiste vigu, samal ajal kui regulariseerimine aitab ülesobitamist ära hoida. XGBoost'i peetakse tabeliandmete jaoks end tõestanud valikuks, näiteks krediidiriski hindamisel, kliendikao ennustamisel või müügiprognoosides.
LightGBM on avatud lähtekoodiga teek otsustuspuudega gradientvõimenduseks, mille töötas algselt välja Microsoft. See on loodud kiiruse ja väikese mälukasutuse jaoks, muu hulgas histogrammipõhise treenimise ja lehekaupa kasvavate puude abil, mis kasvavad kõige lootustandvamast lehest. LightGBM sobib eriti suurte tabelandmete jaoks, näiteks müügiprognoosideks, klientide lahkumise ennustamiseks või pettuste tuvastamiseks, ja seda võrreldakse sageli XGBoostiga.
Bagging (lühend ingliskeelsest väljendist bootstrap aggregating) on masinõppe ansamblimeetod: paljusid mudeleid treenitakse treeningandmete juhuslikult valitud valimitel ja nende ennustused keskmistatakse või ühendatakse häälteenamusega. See muudab tulemused stabiilsemaks ja vähendab ülesobitamist. Tuntuim näide on juhuslik mets, mis ühendab palju otsustuspuid – näiteks klientide lahkumise või hindade ennustamiseks.
