XGBoost (Extreme Gradient Boosting) е библиотека с отворен код, която реализира градиентния бустинг с дървета на решенията особено ефективно. Много малки дървета се обучават едно след друго, като всяко коригира грешките на предишните, а регуляризацията помага да се предотврати свръхнагласяне. XGBoost се смята за доказан избор за таблични данни, например при оценка на кредитния риск, прогнозиране на отпадането на клиенти или прогнозиране на продажби.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоГрадиентното усилване (gradient boosting) е техника на машинното обучение, която комбинира последователно много прости модели – обикновено малки дървета на решенията. Всяко ново дърво се обучава специално да намалява оставащите грешки на предишните. Резултатът са много точни модели за таблични данни, например за кредитен риск, прогнози за продажбите или вероятност за отпадане на клиенти. Известни имплементации са XGBoost, LightGBM и CatBoost; необходима е внимателна настройка, за да се избегне преобучение.
LightGBM е библиотека с отворен код за градиентно усилване с дървета на решенията, първоначално разработена от Microsoft. Тя е проектирана за бързина и ниска консумация на памет, наред с другото чрез обучение, базирано на хистограми, и дървета, които растат по листа в най-обещаващия лист. LightGBM е особено подходяща за големи таблични масиви от данни, например прогнози за продажбите, предвиждане на отпадане на клиенти или откриване на измами, и често се сравнява с XGBoost.
Бустингът (boosting) е ансамблов метод в машинното обучение, при който много прости модели се обучават един след друг, като всеки нов модел се съсредоточава върху случаите, в които предшествениците му са сгрешили. Заедно те образуват много по-точен общ модел. Известни варианти са AdaBoost и градиентният бустинг, с библиотеки като XGBoost или LightGBM. Бустингът е особено силен при таблични данни, например за прогнози за кредитен риск, продажби или отлив на клиенти.
Регресията със случайна гора предвижда числови стойности чрез комбиниране на много дървета на решенията. Всяко дърво се обучава върху случайна извадка от данните и случаен избор на признаци; резултатът е средната стойност от прогнозите на всички дървета. Това прави метода по-устойчив и по-малко склонен към свръхнагласяне от отделното дърво. Използва се например за прогнози за продажбите, оценки на цени или потребление на енергия – често като солидна отправна точка за таблични данни.
