XGBoost (Extreme Gradient Boosting) on avoimen lähdekoodin kirjasto, joka toteuttaa päätöspuihin perustuvan gradienttitehostuksen erityisen tehokkaasti. Monia pieniä puita opetetaan peräkkäin, kukin korjaten edellisten virheitä, ja regularisointi auttaa estämään ylisovittumista. XGBoostia pidetään koeteltuna valintana taulukkomuotoiselle datalle, esimerkiksi luottoriskin pisteytyksessä, asiakaskadon ennustamisessa tai myyntiennusteissa.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoGradient boosting on koneoppimismenetelmä, joka yhdistää monta yksinkertaista mallia – yleensä pieniä päätöspuita – peräkkäin. Jokainen uusi puu koulutetaan nimenomaan vähentämään edellisten jäljelle jättämiä virheitä. Tuloksena on erittäin tarkkoja malleja taulukkodatalle, esimerkiksi luottoriskin, myyntiennusteiden tai asiakaspoistuman todennäköisyyden arviointiin. Tunnettuja toteutuksia ovat XGBoost, LightGBM ja CatBoost; ylisovittamisen välttäminen vaatii huolellista säätöä.
LightGBM on avoimen lähdekoodin kirjasto gradient boostingiin päätöspuilla, jonka alun perin kehitti Microsoft. Se on suunniteltu nopeaksi ja vähämuistiseksi muun muassa histogrammipohjaisella koulutuksella ja puilla, jotka kasvavat lehti kerrallaan lupaavimmasta lehdestä. LightGBM sopii erityisen hyvin suurille taulukkoaineistoille, esimerkiksi myyntiennusteisiin, asiakaspoistuman ennustamiseen tai petosten tunnistukseen, ja sitä verrataan usein XGBoostiin.
Boosting on koneoppimisen ensemble-menetelmä, jossa monta yksinkertaista mallia koulutetaan peräkkäin niin, että kukin uusi malli keskittyy tapauksiin, joissa edeltäjät erehtyivät. Yhdessä ne muodostavat paljon tarkemman kokonaismallin. Tunnettuja muunnelmia ovat AdaBoost ja gradient boosting, ja kirjastoja ovat esimerkiksi XGBoost ja LightGBM. Boosting on erityisen vahva taulukkomuotoisessa datassa, esimerkiksi luottoriskin, myynnin tai asiakaspoistuman ennusteissa.
Satunnaismetsäregressio ennustaa numeerisia arvoja yhdistämällä useita päätöspuita. Kukin puu opetetaan datan satunnaisotoksella ja satunnaisesti valituilla piirteillä; tulos on kaikkien puiden ennusteiden keskiarvo. Tämä tekee menetelmästä kestävämmän ja vähemmän ylisovittumisalttiin kuin yksittäinen puu. Sitä käytetään esimerkiksi myyntiennusteisiin, hinta-arvioihin tai energiantarpeen arviointiin – usein vankkana lähtökohtana taulukkomuotoiselle datalle.
