Słownik pojęć

Boosting

Czym jest Boosting?

Boosting to metoda zespołowa w uczeniu maszynowym, w której wiele prostych modeli trenuje się jeden po drugim, przy czym każdy nowy model koncentruje się na przypadkach, w których poprzednicy się pomylili. Razem tworzą znacznie dokładniejszy model ogólny. Znane warianty to AdaBoost i gradient boosting z bibliotekami takimi jak XGBoost czy LightGBM. Boosting sprawdza się szczególnie dobrze w przypadku danych tabelarycznych, na przykład przy prognozowaniu ryzyka kredytowego, sprzedaży lub odpływu klientów.

Tematy

Metody zespołowe
Uczenie maszynowe
Dane tabelaryczne

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

wzmacnianie gradientowe

Wzmacnianie gradientowe (gradient boosting) to technika uczenia maszynowego, która łączy wiele prostych modeli – zwykle małych drzew decyzyjnych – jeden po drugim. Każde nowe drzewo jest trenowane specjalnie po to, by zmniejszyć pozostałe błędy poprzednich. Efektem są bardzo dokładne modele dla danych tabelarycznych, na przykład do oceny ryzyka kredytowego, prognoz sprzedaży czy prawdopodobieństwa odejścia klienta. Znane implementacje to XGBoost, LightGBM i CatBoost; konieczne jest staranne dostrajanie, aby uniknąć przeuczenia.

Uczenie maszynowe
metoda zespołowa
+1

XGBoost

XGBoost (Extreme Gradient Boosting) to otwartoźródłowa biblioteka, która szczególnie efektywnie implementuje gradient boosting z drzewami decyzyjnymi. Wiele małych drzew jest trenowanych jedno po drugim, a każde koryguje błędy poprzednich, podczas gdy regularyzacja pomaga zapobiegać przeuczeniu. XGBoost uchodzi za sprawdzony wybór dla danych tabelarycznych, na przykład w ocenie ryzyka kredytowego, przewidywaniu rezygnacji klientów (churn) czy prognozowaniu sprzedaży.

Uczenie maszynowe
Boosting
+1

LightGBM

LightGBM to otwartoźródłowa biblioteka do wzmacniania gradientowego z drzewami decyzyjnymi, pierwotnie opracowana przez Microsoft. Zaprojektowano ją z myślą o szybkości i małym zużyciu pamięci, między innymi dzięki trenowaniu opartemu na histogramach i drzewom rosnącym liść po liściu w najbardziej obiecującym miejscu. LightGBM szczególnie nadaje się do dużych zbiorów danych tabelarycznych, na przykład do prognoz sprzedaży, przewidywania odejść klientów czy wykrywania oszustw, i często jest porównywany z XGBoost.

wzmacnianie gradientowe
Dane tabelaryczne
+1

Bagging

Bagging (skrót od bootstrap aggregating) to metoda zespołowa w uczeniu maszynowym: wiele modeli trenuje się na losowo wybranych próbach danych treningowych, a ich predykcje uśrednia się lub łączy w drodze głosowania większościowego. Dzięki temu wyniki są stabilniejsze, a ryzyko nadmiernego dopasowania mniejsze. Najbardziej znanym przykładem jest las losowy, który łączy wiele drzew decyzyjnych – na przykład w celu przewidywania odpływu klientów lub cen.

Metody zespołowe
Uczenie maszynowe
+1