Az XGBoost (Extreme Gradient Boosting) nyílt forráskódú könyvtár, amely a döntési fákkal végzett gradiensnövelést (gradient boosting) különösen hatékonyan valósítja meg. Sok kis fát tanítanak egymás után, mindegyik kijavítja az előzők hibáit, miközben a regularizáció segít megelőzni a túlillesztést. Az XGBoost bevált választásnak számít táblázatos adatokhoz, például hitelkockázat-pontozásban, lemorzsolódás-előrejelzésben vagy értékesítési előrejelzésben.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA gradiensnövelés (gradient boosting) olyan gépi tanulási technika, amely sok egyszerű modellt – általában kis döntési fákat – kapcsol egymás után. Minden új fát kifejezetten arra tanítanak, hogy csökkentse az előzők megmaradt hibáit. Az eredmény rendkívül pontos modell táblázatos adatokra, például hitelkockázathoz, értékesítési előrejelzésekhez vagy az ügyfélelvándorlás valószínűségéhez. Ismert megvalósításai az XGBoost, a LightGBM és a CatBoost; a túlillesztés elkerüléséhez gondos hangolás szükséges.
A LightGBM egy nyílt forráskódú könyvtár döntési fákkal végzett gradiensnöveléshez (gradient boosting), amelyet eredetileg a Microsoft fejlesztett. A sebességre és az alacsony memóriahasználatra tervezték, többek között hisztogramalapú tanítással és olyan fákkal, amelyek levelenként, a legígéretesebb levélnél nőnek. A LightGBM különösen alkalmas nagy táblázatos adathalmazokra, például értékesítési előrejelzésekhez, ügyfélelvándorlás-előrejelzéshez vagy csalásfelderítéshez, és gyakran hasonlítják az XGBoosthoz.
A boosting a gépi tanulás olyan együttes módszere, amelyben sok egyszerű modellt tanítanak egymás után, és minden új modell azokra az esetekre összpontosít, amelyeket elődei elhibáztak. Együtt egy sokkal pontosabb összesített modellt alkotnak. Ismert változatai az AdaBoost és a gradiens boosting, olyan könyvtárakkal, mint az XGBoost vagy a LightGBM. A boosting különösen táblázatos adatokon erős, például hitelkockázati, értékesítési vagy ügyfélelvándorlási előrejelzéseknél.
A véletlen erdő regresszió számértékeket jelez előre úgy, hogy sok döntési fát kombinál. Minden fát az adatok egy véletlen mintáján és a jellemzők véletlen kiválasztásán tanítanak; az eredmény az összes fa előrejelzésének átlaga. Ez a módszert robusztusabbá és az egyetlen fánál kevésbé túlillesztésre hajlamossá teszi. Használják például értékesítési előrejelzésekhez, árbecslésekhez vagy energiaigény-becsléshez – táblázatos adatoknál gyakran megbízható kiindulópontként.
