Bagging (skrót od bootstrap aggregating) to metoda zespołowa w uczeniu maszynowym: wiele modeli trenuje się na losowo wybranych próbach danych treningowych, a ich predykcje uśrednia się lub łączy w drodze głosowania większościowego. Dzięki temu wyniki są stabilniejsze, a ryzyko nadmiernego dopasowania mniejsze. Najbardziej znanym przykładem jest las losowy, który łączy wiele drzew decyzyjnych – na przykład w celu przewidywania odpływu klientów lub cen.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoRegresja lasu losowego przewiduje wartości liczbowe, łącząc wiele drzew decyzyjnych. Każde drzewo jest trenowane na losowej próbce danych i losowym wyborze cech; wynikiem jest średnia przewidywań wszystkich drzew. Dzięki temu metoda jest bardziej odporna i mniej podatna na przeuczenie niż pojedyncze drzewo. Stosuje się ją na przykład do prognoz sprzedaży, szacowania cen lub zapotrzebowania na energię – często jako solidny punkt wyjścia dla danych tabelarycznych.
Boosting to metoda zespołowa w uczeniu maszynowym, w której wiele prostych modeli trenuje się jeden po drugim, przy czym każdy nowy model koncentruje się na przypadkach, w których poprzednicy się pomylili. Razem tworzą znacznie dokładniejszy model ogólny. Znane warianty to AdaBoost i gradient boosting z bibliotekami takimi jak XGBoost czy LightGBM. Boosting sprawdza się szczególnie dobrze w przypadku danych tabelarycznych, na przykład przy prognozowaniu ryzyka kredytowego, sprzedaży lub odpływu klientów.
Drzewo decyzyjne to model, który przedstawia decyzję jako ciąg prostych pytań tak/nie: każda gałąź sprawdza jedną cechę, a każdy liść podaje wynik. W uczeniu maszynowym takie drzewa są uczone automatycznie na podstawie danych i wykorzystywane do klasyfikacji lub prognozowania. Ich główną zaletą jest przejrzystość – na przykład pokazują, dlaczego wniosek kredytowy został oznaczony na podstawie dochodu, okresu kredytowania i historii spłat.
Przeuczenie (overfitting) występuje wtedy, gdy model zapamiętuje dane treningowe, łącznie z przypadkowymi osobliwościami i szumem, zamiast uchwycić ogólnie obowiązujące wzorce. Wydaje się wtedy bardzo dokładny na znanych danych, ale radzi sobie słabo z nowymi. Typowym sygnałem jest duża różnica między błędem treningowym a błędem testowym. Środki zaradcze to więcej lub bardziej zróżnicowane dane, prostsze modele, regularyzacja, dropout i walidacja krzyżowa.
