LightGBM on avatud lähtekoodiga teek otsustuspuudega gradientvõimenduseks, mille töötas algselt välja Microsoft. See on loodud kiiruse ja väikese mälukasutuse jaoks, muu hulgas histogrammipõhise treenimise ja lehekaupa kasvavate puude abil, mis kasvavad kõige lootustandvamast lehest. LightGBM sobib eriti suurte tabelandmete jaoks, näiteks müügiprognoosideks, klientide lahkumise ennustamiseks või pettuste tuvastamiseks, ja seda võrreldakse sageli XGBoostiga.
Gradientvõimendus (gradient boosting) on masinõppe võte, mis ühendab paljusid lihtsaid mudeleid – tavaliselt väikseid otsustuspuid – üksteise järel. Iga uut puud treenitakse spetsiaalselt eelmiste järelejäänud vigade vähendamiseks. Tulemuseks on tabelandmete jaoks väga täpsed mudelid, näiteks krediidiriski, müügiprognooside või klientide lahkumise tõenäosuse hindamiseks. Tuntud teostused on XGBoost, LightGBM ja CatBoost; ülesobitamise vältimiseks on vaja hoolikat häälestamist.
XGBoost (Extreme Gradient Boosting) on avatud lähtekoodiga teek, mis rakendab otsustuspuudega gradientvõimendust eriti tõhusalt. Paljusid väikeseid puid treenitakse üksteise järel, igaüks parandab eelmiste vigu, samal ajal kui regulariseerimine aitab ülesobitamist ära hoida. XGBoost'i peetakse tabeliandmete jaoks end tõestanud valikuks, näiteks krediidiriski hindamisel, kliendikao ennustamisel või müügiprognoosides.
Otsustuspuu on mudel, mis kujutab otsust lihtsate jah/ei-küsimuste jadana: iga haru kontrollib ühte tunnust ja iga leht annab tulemuse. Masinõppes õpitakse sellised puud andmetest automaatselt ja neid kasutatakse klassifitseerimiseks või prognoosimiseks. Nende peamine tugevus on läbipaistvus – näiteks näitavad need, miks laenutaotlus sissetuleku, tähtaja ja maksete ajaloo põhjal märgiti.
Võimendamine (boosting) on masinõppe ansamblimeetod, mille puhul treenitakse üksteise järel palju lihtsaid mudeleid, kusjuures iga uus mudel keskendub juhtumitele, milles eelkäijad eksisid. Koos moodustavad nad palju täpsema üldmudeli. Tuntud variandid on AdaBoost ja gradientvõimendamine koos teekidega, nagu XGBoost või LightGBM. Boosting on eriti tugev tabelandmete puhul, näiteks krediidiriski, müügi või klientide lahkumise prognoosimisel.
