Boosting je ansambelska metoda strojnega učenja, pri kateri se številni preprosti modeli učijo drug za drugim, pri čemer se vsak novi model osredotoči na primere, pri katerih so se predhodniki zmotili. Skupaj tvorijo veliko natančnejši celotni model. Znani različici sta AdaBoost in gradientni boosting, s knjižnicami, kot sta XGBoost ali LightGBM. Boosting je posebej močan pri tabelaričnih podatkih, na primer pri napovedih kreditnega tveganja, prodaje ali odhoda strank.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevGradientno ojačevanje (gradient boosting) je tehnika strojnega učenja, ki zaporedno združuje številne preproste modele – običajno majhna odločitvena drevesa. Vsako novo drevo se uči posebej zato, da zmanjša preostale napake prejšnjih. Rezultat so zelo natančni modeli za tabelarne podatke, na primer za kreditno tveganje, napovedi prodaje ali verjetnost odhoda strank. Znane izvedbe so XGBoost, LightGBM in CatBoost; za preprečevanje čezmernega prilagajanja je potrebno skrbno uravnavanje.
XGBoost (Extreme Gradient Boosting) je odprtokodna knjižnica, ki posebej učinkovito izvaja gradientno ojačevanje z odločitvenimi drevesi. Veliko majhnih dreves se uči eno za drugim, vsako popravlja napake prejšnjih, regularizacija pa pomaga preprečevati preveliko prileganje. XGBoost velja za preverjeno izbiro pri tabelaričnih podatkih, na primer pri ocenjevanju kreditnega tveganja, napovedovanju odliva strank ali napovedovanju prodaje.
LightGBM je odprtokodna knjižnica za gradientno ojačevanje z odločitvenimi drevesi, ki jo je prvotno razvil Microsoft. Zasnovana je za hitrost in majhno porabo pomnilnika, med drugim z učenjem na podlagi histogramov in drevesi, ki rastejo po listih v najbolj obetavnem listu. LightGBM je še posebej primeren za velike tabelarne podatkovne zbirke, na primer za napovedi prodaje, napovedovanje odhoda strank ali odkrivanje goljufij, pogosto pa se primerja z XGBoost.
Bagging (okrajšava za bootstrap aggregating) je ansambelska metoda strojnega učenja: številni modeli se učijo na naključno izbranih vzorcih učnih podatkov, njihove napovedi pa se povprečijo ali združijo z večinskim glasovanjem. Rezultati so tako stabilnejši, prekomerno prilagajanje pa manjše. Najbolj znan primer je naključni gozd, ki združuje številna odločitvena drevesa – na primer za napovedovanje odhoda strank ali cen.
