Boosting on koneoppimisen ensemble-menetelmä, jossa monta yksinkertaista mallia koulutetaan peräkkäin niin, että kukin uusi malli keskittyy tapauksiin, joissa edeltäjät erehtyivät. Yhdessä ne muodostavat paljon tarkemman kokonaismallin. Tunnettuja muunnelmia ovat AdaBoost ja gradient boosting, ja kirjastoja ovat esimerkiksi XGBoost ja LightGBM. Boosting on erityisen vahva taulukkomuotoisessa datassa, esimerkiksi luottoriskin, myynnin tai asiakaspoistuman ennusteissa.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoGradient boosting on koneoppimismenetelmä, joka yhdistää monta yksinkertaista mallia – yleensä pieniä päätöspuita – peräkkäin. Jokainen uusi puu koulutetaan nimenomaan vähentämään edellisten jäljelle jättämiä virheitä. Tuloksena on erittäin tarkkoja malleja taulukkodatalle, esimerkiksi luottoriskin, myyntiennusteiden tai asiakaspoistuman todennäköisyyden arviointiin. Tunnettuja toteutuksia ovat XGBoost, LightGBM ja CatBoost; ylisovittamisen välttäminen vaatii huolellista säätöä.
XGBoost (Extreme Gradient Boosting) on avoimen lähdekoodin kirjasto, joka toteuttaa päätöspuihin perustuvan gradienttitehostuksen erityisen tehokkaasti. Monia pieniä puita opetetaan peräkkäin, kukin korjaten edellisten virheitä, ja regularisointi auttaa estämään ylisovittumista. XGBoostia pidetään koeteltuna valintana taulukkomuotoiselle datalle, esimerkiksi luottoriskin pisteytyksessä, asiakaskadon ennustamisessa tai myyntiennusteissa.
LightGBM on avoimen lähdekoodin kirjasto gradient boostingiin päätöspuilla, jonka alun perin kehitti Microsoft. Se on suunniteltu nopeaksi ja vähämuistiseksi muun muassa histogrammipohjaisella koulutuksella ja puilla, jotka kasvavat lehti kerrallaan lupaavimmasta lehdestä. LightGBM sopii erityisen hyvin suurille taulukkoaineistoille, esimerkiksi myyntiennusteisiin, asiakaspoistuman ennustamiseen tai petosten tunnistukseen, ja sitä verrataan usein XGBoostiin.
Bagging (lyhenne sanoista bootstrap aggregating) on koneoppimisen ensemble-menetelmä: monta mallia koulutetaan satunnaisesti poimituilla otoksilla opetusdatasta, ja niiden ennusteet keskiarvotetaan tai yhdistetään enemmistöäänestyksellä. Tämä tekee tuloksista vakaampia ja vähentää ylisovittamista. Tunnetuin esimerkki on satunnaismetsä (random forest), joka yhdistää monta päätöspuuta – esimerkiksi asiakaspoistuman tai hintojen ennustamiseen.
