Бустингът (boosting) е ансамблов метод в машинното обучение, при който много прости модели се обучават един след друг, като всеки нов модел се съсредоточава върху случаите, в които предшествениците му са сгрешили. Заедно те образуват много по-точен общ модел. Известни варианти са AdaBoost и градиентният бустинг, с библиотеки като XGBoost или LightGBM. Бустингът е особено силен при таблични данни, например за прогнози за кредитен риск, продажби или отлив на клиенти.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоГрадиентното усилване (gradient boosting) е техника на машинното обучение, която комбинира последователно много прости модели – обикновено малки дървета на решенията. Всяко ново дърво се обучава специално да намалява оставащите грешки на предишните. Резултатът са много точни модели за таблични данни, например за кредитен риск, прогнози за продажбите или вероятност за отпадане на клиенти. Известни имплементации са XGBoost, LightGBM и CatBoost; необходима е внимателна настройка, за да се избегне преобучение.
XGBoost (Extreme Gradient Boosting) е библиотека с отворен код, която реализира градиентния бустинг с дървета на решенията особено ефективно. Много малки дървета се обучават едно след друго, като всяко коригира грешките на предишните, а регуляризацията помага да се предотврати свръхнагласяне. XGBoost се смята за доказан избор за таблични данни, например при оценка на кредитния риск, прогнозиране на отпадането на клиенти или прогнозиране на продажби.
LightGBM е библиотека с отворен код за градиентно усилване с дървета на решенията, първоначално разработена от Microsoft. Тя е проектирана за бързина и ниска консумация на памет, наред с другото чрез обучение, базирано на хистограми, и дървета, които растат по листа в най-обещаващия лист. LightGBM е особено подходяща за големи таблични масиви от данни, например прогнози за продажбите, предвиждане на отпадане на клиенти или откриване на измами, и често се сравнява с XGBoost.
Бегингът (bagging, съкращение от bootstrap aggregating) е ансамблов метод в машинното обучение: много модели се обучават върху случайно избрани извадки от обучителните данни, а прогнозите им се осредняват или обединяват чрез мнозинство. Това прави резултатите по-стабилни и намалява преобучението. Най-известният пример е случайната гора (random forest), която съчетава много дървета на решенията – например за прогнозиране на отлива на клиенти или на цени.
