Boosting je súborová metóda strojového učenia, pri ktorej sa mnoho jednoduchých modelov trénuje postupne a každý nový model sa zameriava na prípady, v ktorých sa jeho predchodcovia mýlili. Spolu tvoria oveľa presnejší celkový model. Známymi variantmi sú AdaBoost a gradient boosting s knižnicami ako XGBoost alebo LightGBM. Boosting je mimoriadne silný pri tabuľkových údajoch, napríklad pri predpovediach úverového rizika, predaja alebo odchodu zákazníkov.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoGradientné posilňovanie (gradient boosting) je technika strojového učenia, ktorá spája mnoho jednoduchých modelov – zvyčajne malých rozhodovacích stromov – za sebou. Každý nový strom sa trénuje špeciálne na zníženie zostávajúcich chýb predchádzajúcich. Výsledkom sú veľmi presné modely pre tabuľkové údaje, napríklad pre úverové riziko, predpovede predaja alebo pravdepodobnosť odchodu zákazníkov. Známe implementácie sú XGBoost, LightGBM a CatBoost; aby sa predišlo preučeniu, je potrebné starostlivé ladenie.
XGBoost (Extreme Gradient Boosting) je open-source knižnica, ktorá obzvlášť efektívne implementuje gradient boosting s rozhodovacími stromami. Postupne sa trénuje mnoho malých stromov, z ktorých každý opravuje chyby predchádzajúcich, pričom regularizácia pomáha predchádzať preučeniu. XGBoost sa považuje za osvedčenú voľbu pre tabuľkové dáta, napríklad pri hodnotení úverového rizika, predpovedaní odchodu zákazníkov alebo predpovedaní predaja.
LightGBM je open-source knižnica na gradientné posilňovanie s rozhodovacími stromami, ktorú pôvodne vyvinul Microsoft. Je navrhnutá na rýchlosť a nízku spotrebu pamäte, okrem iného vďaka trénovaniu založenému na histogramoch a stromom, ktoré rastú po listoch v najperspektívnejšom liste. LightGBM sa hodí najmä na veľké tabuľkové súbory údajov, napríklad predpovede predaja, predikciu odchodu zákazníkov alebo odhaľovanie podvodov, a často sa porovnáva s XGBoost.
Bagging (skratka z bootstrap aggregating) je súborová metóda strojového učenia: mnoho modelov sa natrénuje na náhodne vybraných vzorkách trénovacích údajov a ich predpovede sa spriemerujú alebo spoja hlasovaním väčšiny. Výsledky sú tak stabilnejšie a znižuje sa preučenie. Najznámejším príkladom je náhodný les (random forest), ktorý spája mnoho rozhodovacích stromov – napríklad na predpoveď odchodu zákazníkov alebo cien.
