XGBoost (Extreme Gradient Boosting) je odprtokodna knjižnica, ki posebej učinkovito izvaja gradientno ojačevanje z odločitvenimi drevesi. Veliko majhnih dreves se uči eno za drugim, vsako popravlja napake prejšnjih, regularizacija pa pomaga preprečevati preveliko prileganje. XGBoost velja za preverjeno izbiro pri tabelaričnih podatkih, na primer pri ocenjevanju kreditnega tveganja, napovedovanju odliva strank ali napovedovanju prodaje.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevGradientno ojačevanje (gradient boosting) je tehnika strojnega učenja, ki zaporedno združuje številne preproste modele – običajno majhna odločitvena drevesa. Vsako novo drevo se uči posebej zato, da zmanjša preostale napake prejšnjih. Rezultat so zelo natančni modeli za tabelarne podatke, na primer za kreditno tveganje, napovedi prodaje ali verjetnost odhoda strank. Znane izvedbe so XGBoost, LightGBM in CatBoost; za preprečevanje čezmernega prilagajanja je potrebno skrbno uravnavanje.
LightGBM je odprtokodna knjižnica za gradientno ojačevanje z odločitvenimi drevesi, ki jo je prvotno razvil Microsoft. Zasnovana je za hitrost in majhno porabo pomnilnika, med drugim z učenjem na podlagi histogramov in drevesi, ki rastejo po listih v najbolj obetavnem listu. LightGBM je še posebej primeren za velike tabelarne podatkovne zbirke, na primer za napovedi prodaje, napovedovanje odhoda strank ali odkrivanje goljufij, pogosto pa se primerja z XGBoost.
Boosting je ansambelska metoda strojnega učenja, pri kateri se številni preprosti modeli učijo drug za drugim, pri čemer se vsak novi model osredotoči na primere, pri katerih so se predhodniki zmotili. Skupaj tvorijo veliko natančnejši celotni model. Znani različici sta AdaBoost in gradientni boosting, s knjižnicami, kot sta XGBoost ali LightGBM. Boosting je posebej močan pri tabelaričnih podatkih, na primer pri napovedih kreditnega tveganja, prodaje ali odhoda strank.
Regresija z naključnim gozdom napoveduje številske vrednosti s kombiniranjem številnih odločitvenih dreves. Vsako drevo se uči na naključnem vzorcu podatkov in naključni izbiri značilnic; rezultat je povprečje napovedi vseh dreves. Zaradi tega je metoda robustnejša in manj nagnjena k preveliko prileganju kot posamezno drevo. Uporablja se na primer za napovedi prodaje, ocene cen ali porabe energije – pogosto kot zanesljivo izhodišče za tabelarične podatke.
