XGBoost (Extreme Gradient Boosting) on avatud lähtekoodiga teek, mis rakendab otsustuspuudega gradientvõimendust eriti tõhusalt. Paljusid väikeseid puid treenitakse üksteise järel, igaüks parandab eelmiste vigu, samal ajal kui regulariseerimine aitab ülesobitamist ära hoida. XGBoost'i peetakse tabeliandmete jaoks end tõestanud valikuks, näiteks krediidiriski hindamisel, kliendikao ennustamisel või müügiprognoosides.
Gradientvõimendus (gradient boosting) on masinõppe võte, mis ühendab paljusid lihtsaid mudeleid – tavaliselt väikseid otsustuspuid – üksteise järel. Iga uut puud treenitakse spetsiaalselt eelmiste järelejäänud vigade vähendamiseks. Tulemuseks on tabelandmete jaoks väga täpsed mudelid, näiteks krediidiriski, müügiprognooside või klientide lahkumise tõenäosuse hindamiseks. Tuntud teostused on XGBoost, LightGBM ja CatBoost; ülesobitamise vältimiseks on vaja hoolikat häälestamist.
LightGBM on avatud lähtekoodiga teek otsustuspuudega gradientvõimenduseks, mille töötas algselt välja Microsoft. See on loodud kiiruse ja väikese mälukasutuse jaoks, muu hulgas histogrammipõhise treenimise ja lehekaupa kasvavate puude abil, mis kasvavad kõige lootustandvamast lehest. LightGBM sobib eriti suurte tabelandmete jaoks, näiteks müügiprognoosideks, klientide lahkumise ennustamiseks või pettuste tuvastamiseks, ja seda võrreldakse sageli XGBoostiga.
Võimendamine (boosting) on masinõppe ansamblimeetod, mille puhul treenitakse üksteise järel palju lihtsaid mudeleid, kusjuures iga uus mudel keskendub juhtumitele, milles eelkäijad eksisid. Koos moodustavad nad palju täpsema üldmudeli. Tuntud variandid on AdaBoost ja gradientvõimendamine koos teekidega, nagu XGBoost või LightGBM. Boosting on eriti tugev tabelandmete puhul, näiteks krediidiriski, müügi või klientide lahkumise prognoosimisel.
Juhumetsa regressioon ennustab arvväärtusi, kombineerides paljusid otsustuspuid. Iga puud treenitakse andmete juhuvalimil ja tunnuste juhuslikul valikul; tulemus on kõigi puude ennustuste keskmine. See muudab meetodi töökindlamaks ja vähem ülesobitamisele kalduvaks kui üksik puu. Seda kasutatakse näiteks müügiprognoosideks, hinnahinnanguteks või energiavajaduse ennustamiseks – sageli tugeva lähtepunktina tabeliandmete jaoks.
