XGBoost (Extreme Gradient Boosting) to otwartoźródłowa biblioteka, która szczególnie efektywnie implementuje gradient boosting z drzewami decyzyjnymi. Wiele małych drzew jest trenowanych jedno po drugim, a każde koryguje błędy poprzednich, podczas gdy regularyzacja pomaga zapobiegać przeuczeniu. XGBoost uchodzi za sprawdzony wybór dla danych tabelarycznych, na przykład w ocenie ryzyka kredytowego, przewidywaniu rezygnacji klientów (churn) czy prognozowaniu sprzedaży.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoWzmacnianie gradientowe (gradient boosting) to technika uczenia maszynowego, która łączy wiele prostych modeli – zwykle małych drzew decyzyjnych – jeden po drugim. Każde nowe drzewo jest trenowane specjalnie po to, by zmniejszyć pozostałe błędy poprzednich. Efektem są bardzo dokładne modele dla danych tabelarycznych, na przykład do oceny ryzyka kredytowego, prognoz sprzedaży czy prawdopodobieństwa odejścia klienta. Znane implementacje to XGBoost, LightGBM i CatBoost; konieczne jest staranne dostrajanie, aby uniknąć przeuczenia.
LightGBM to otwartoźródłowa biblioteka do wzmacniania gradientowego z drzewami decyzyjnymi, pierwotnie opracowana przez Microsoft. Zaprojektowano ją z myślą o szybkości i małym zużyciu pamięci, między innymi dzięki trenowaniu opartemu na histogramach i drzewom rosnącym liść po liściu w najbardziej obiecującym miejscu. LightGBM szczególnie nadaje się do dużych zbiorów danych tabelarycznych, na przykład do prognoz sprzedaży, przewidywania odejść klientów czy wykrywania oszustw, i często jest porównywany z XGBoost.
Boosting to metoda zespołowa w uczeniu maszynowym, w której wiele prostych modeli trenuje się jeden po drugim, przy czym każdy nowy model koncentruje się na przypadkach, w których poprzednicy się pomylili. Razem tworzą znacznie dokładniejszy model ogólny. Znane warianty to AdaBoost i gradient boosting z bibliotekami takimi jak XGBoost czy LightGBM. Boosting sprawdza się szczególnie dobrze w przypadku danych tabelarycznych, na przykład przy prognozowaniu ryzyka kredytowego, sprzedaży lub odpływu klientów.
Regresja lasu losowego przewiduje wartości liczbowe, łącząc wiele drzew decyzyjnych. Każde drzewo jest trenowane na losowej próbce danych i losowym wyborze cech; wynikiem jest średnia przewidywań wszystkich drzew. Dzięki temu metoda jest bardziej odporna i mniej podatna na przeuczenie niż pojedyncze drzewo. Stosuje się ją na przykład do prognoz sprzedaży, szacowania cen lub zapotrzebowania na energię – często jako solidny punkt wyjścia dla danych tabelarycznych.
