XGBoost (Extreme Gradient Boosting) je open-source knižnica, ktorá obzvlášť efektívne implementuje gradient boosting s rozhodovacími stromami. Postupne sa trénuje mnoho malých stromov, z ktorých každý opravuje chyby predchádzajúcich, pričom regularizácia pomáha predchádzať preučeniu. XGBoost sa považuje za osvedčenú voľbu pre tabuľkové dáta, napríklad pri hodnotení úverového rizika, predpovedaní odchodu zákazníkov alebo predpovedaní predaja.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoGradientné posilňovanie (gradient boosting) je technika strojového učenia, ktorá spája mnoho jednoduchých modelov – zvyčajne malých rozhodovacích stromov – za sebou. Každý nový strom sa trénuje špeciálne na zníženie zostávajúcich chýb predchádzajúcich. Výsledkom sú veľmi presné modely pre tabuľkové údaje, napríklad pre úverové riziko, predpovede predaja alebo pravdepodobnosť odchodu zákazníkov. Známe implementácie sú XGBoost, LightGBM a CatBoost; aby sa predišlo preučeniu, je potrebné starostlivé ladenie.
LightGBM je open-source knižnica na gradientné posilňovanie s rozhodovacími stromami, ktorú pôvodne vyvinul Microsoft. Je navrhnutá na rýchlosť a nízku spotrebu pamäte, okrem iného vďaka trénovaniu založenému na histogramoch a stromom, ktoré rastú po listoch v najperspektívnejšom liste. LightGBM sa hodí najmä na veľké tabuľkové súbory údajov, napríklad predpovede predaja, predikciu odchodu zákazníkov alebo odhaľovanie podvodov, a často sa porovnáva s XGBoost.
Boosting je súborová metóda strojového učenia, pri ktorej sa mnoho jednoduchých modelov trénuje postupne a každý nový model sa zameriava na prípady, v ktorých sa jeho predchodcovia mýlili. Spolu tvoria oveľa presnejší celkový model. Známymi variantmi sú AdaBoost a gradient boosting s knižnicami ako XGBoost alebo LightGBM. Boosting je mimoriadne silný pri tabuľkových údajoch, napríklad pri predpovediach úverového rizika, predaja alebo odchodu zákazníkov.
Regresia náhodným lesom predpovedá číselné hodnoty kombináciou mnohých rozhodovacích stromov. Každý strom sa trénuje na náhodnej vzorke dát a náhodnom výbere príznakov; výsledkom je priemer predpovedí všetkých stromov. Metóda je vďaka tomu robustnejšia a menej náchylná na preučenie než jediný strom. Používa sa napríklad na predpovede predaja, odhady cien alebo energetických potrieb – často ako solídny východiskový bod pre tabuľkové dáta.
