Boosting je ansámblová metoda strojového učení, při níž se postupně trénuje mnoho jednoduchých modelů, přičemž každý nový model se zaměřuje na případy, ve kterých se jeho předchůdci mýlili. Společně tvoří mnohem přesnější celkový model. Známými variantami jsou AdaBoost a gradient boosting s knihovnami jako XGBoost nebo LightGBM. Boosting je obzvlášť silný u tabulkových dat, například u úvěrového rizika, prognóz prodeje nebo odchodu zákazníků.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoGradient boosting je technika strojového učení, která za sebou kombinuje mnoho jednoduchých modelů – obvykle malých rozhodovacích stromů. Každý nový strom se trénuje specificky tak, aby snižoval zbývající chyby předchozích. Výsledkem jsou vysoce přesné modely pro tabulková data, například pro úvěrové riziko, prognózy prodeje nebo pravděpodobnost odchodu zákazníka. Známými implementacemi jsou XGBoost, LightGBM a CatBoost; aby se předešlo přeučení, je třeba pečlivé ladění.
XGBoost (Extreme Gradient Boosting) je open-source knihovna, která zvlášť efektivně implementuje gradientní boosting s rozhodovacími stromy. Trénuje se po sobě mnoho malých stromů, z nichž každý opravuje chyby předchozích, zatímco regularizace pomáhá předcházet přeučení. XGBoost se považuje za osvědčenou volbu pro tabulková data, například při hodnocení úvěrového rizika, předpovídání odchodu zákazníků nebo předpovědích prodeje.
LightGBM je open-source knihovna pro gradient boosting s rozhodovacími stromy, původně vyvinutá společností Microsoft. Je navržena pro rychlost a nízkou spotřebu paměti, mimo jiné díky trénování založenému na histogramech a stromům, které rostou po listech v nejslibnějším listu. LightGBM se hodí zejména pro velké tabulkové datové sady, například prognózy prodeje, predikci odchodu zákazníků nebo odhalování podvodů, a často se srovnává s XGBoost.
Bagging (zkratka z bootstrap aggregating) je ansámblová metoda strojového učení: mnoho modelů se natrénuje na náhodně vybraných vzorcích trénovacích dat a jejich predikce se zprůměrují nebo zkombinují většinovým hlasováním. Výsledky jsou díky tomu stabilnější a snižuje se přeučení. Nejznámějším příkladem je náhodný les (random forest), který kombinuje mnoho rozhodovacích stromů – například pro predikci odchodu zákazníků nebo cen.
