XGBoost (Extreme Gradient Boosting) je open-source knihovna, která zvlášť efektivně implementuje gradientní boosting s rozhodovacími stromy. Trénuje se po sobě mnoho malých stromů, z nichž každý opravuje chyby předchozích, zatímco regularizace pomáhá předcházet přeučení. XGBoost se považuje za osvědčenou volbu pro tabulková data, například při hodnocení úvěrového rizika, předpovídání odchodu zákazníků nebo předpovědích prodeje.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoGradient boosting je technika strojového učení, která za sebou kombinuje mnoho jednoduchých modelů – obvykle malých rozhodovacích stromů. Každý nový strom se trénuje specificky tak, aby snižoval zbývající chyby předchozích. Výsledkem jsou vysoce přesné modely pro tabulková data, například pro úvěrové riziko, prognózy prodeje nebo pravděpodobnost odchodu zákazníka. Známými implementacemi jsou XGBoost, LightGBM a CatBoost; aby se předešlo přeučení, je třeba pečlivé ladění.
LightGBM je open-source knihovna pro gradient boosting s rozhodovacími stromy, původně vyvinutá společností Microsoft. Je navržena pro rychlost a nízkou spotřebu paměti, mimo jiné díky trénování založenému na histogramech a stromům, které rostou po listech v nejslibnějším listu. LightGBM se hodí zejména pro velké tabulkové datové sady, například prognózy prodeje, predikci odchodu zákazníků nebo odhalování podvodů, a často se srovnává s XGBoost.
Boosting je ansámblová metoda strojového učení, při níž se postupně trénuje mnoho jednoduchých modelů, přičemž každý nový model se zaměřuje na případy, ve kterých se jeho předchůdci mýlili. Společně tvoří mnohem přesnější celkový model. Známými variantami jsou AdaBoost a gradient boosting s knihovnami jako XGBoost nebo LightGBM. Boosting je obzvlášť silný u tabulkových dat, například u úvěrového rizika, prognóz prodeje nebo odchodu zákazníků.
Regrese náhodným lesem předpovídá číselné hodnoty kombinací mnoha rozhodovacích stromů. Každý strom se trénuje na náhodném vzorku dat a náhodném výběru příznaků; výsledkem je průměr předpovědí všech stromů. Metoda je díky tomu robustnější a méně náchylná k přeučení než jediný strom. Používá se například pro předpovědi prodeje, odhady cen nebo poptávky po energii – často jako solidní výchozí bod pro tabulková data.
