A boosting a gépi tanulás olyan együttes módszere, amelyben sok egyszerű modellt tanítanak egymás után, és minden új modell azokra az esetekre összpontosít, amelyeket elődei elhibáztak. Együtt egy sokkal pontosabb összesített modellt alkotnak. Ismert változatai az AdaBoost és a gradiens boosting, olyan könyvtárakkal, mint az XGBoost vagy a LightGBM. A boosting különösen táblázatos adatokon erős, például hitelkockázati, értékesítési vagy ügyfélelvándorlási előrejelzéseknél.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA gradiensnövelés (gradient boosting) olyan gépi tanulási technika, amely sok egyszerű modellt – általában kis döntési fákat – kapcsol egymás után. Minden új fát kifejezetten arra tanítanak, hogy csökkentse az előzők megmaradt hibáit. Az eredmény rendkívül pontos modell táblázatos adatokra, például hitelkockázathoz, értékesítési előrejelzésekhez vagy az ügyfélelvándorlás valószínűségéhez. Ismert megvalósításai az XGBoost, a LightGBM és a CatBoost; a túlillesztés elkerüléséhez gondos hangolás szükséges.
Az XGBoost (Extreme Gradient Boosting) nyílt forráskódú könyvtár, amely a döntési fákkal végzett gradiensnövelést (gradient boosting) különösen hatékonyan valósítja meg. Sok kis fát tanítanak egymás után, mindegyik kijavítja az előzők hibáit, miközben a regularizáció segít megelőzni a túlillesztést. Az XGBoost bevált választásnak számít táblázatos adatokhoz, például hitelkockázat-pontozásban, lemorzsolódás-előrejelzésben vagy értékesítési előrejelzésben.
A LightGBM egy nyílt forráskódú könyvtár döntési fákkal végzett gradiensnöveléshez (gradient boosting), amelyet eredetileg a Microsoft fejlesztett. A sebességre és az alacsony memóriahasználatra tervezték, többek között hisztogramalapú tanítással és olyan fákkal, amelyek levelenként, a legígéretesebb levélnél nőnek. A LightGBM különösen alkalmas nagy táblázatos adathalmazokra, például értékesítési előrejelzésekhez, ügyfélelvándorlás-előrejelzéshez vagy csalásfelderítéshez, és gyakran hasonlítják az XGBoosthoz.
A bagging (a bootstrap aggregating rövidítése) a gépi tanulás egyik együttes (ensemble) módszere: sok modellt tanítanak a tanítóadatok véletlenszerűen kiválasztott mintáin, és előrejelzéseiket átlagolják vagy többségi szavazással egyesítik. Ez stabilabbá teszi az eredményeket, és csökkenti a túlillesztést. A legismertebb példa a véletlen erdő (random forest), amely sok döntési fát egyesít – például az ügyfélelvándorlás vagy az árak előrejelzéséhez.
