Bagging (lyhenne sanoista bootstrap aggregating) on koneoppimisen ensemble-menetelmä: monta mallia koulutetaan satunnaisesti poimituilla otoksilla opetusdatasta, ja niiden ennusteet keskiarvotetaan tai yhdistetään enemmistöäänestyksellä. Tämä tekee tuloksista vakaampia ja vähentää ylisovittamista. Tunnetuin esimerkki on satunnaismetsä (random forest), joka yhdistää monta päätöspuuta – esimerkiksi asiakaspoistuman tai hintojen ennustamiseen.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoSatunnaismetsäregressio ennustaa numeerisia arvoja yhdistämällä useita päätöspuita. Kukin puu opetetaan datan satunnaisotoksella ja satunnaisesti valituilla piirteillä; tulos on kaikkien puiden ennusteiden keskiarvo. Tämä tekee menetelmästä kestävämmän ja vähemmän ylisovittumisalttiin kuin yksittäinen puu. Sitä käytetään esimerkiksi myyntiennusteisiin, hinta-arvioihin tai energiantarpeen arviointiin – usein vankkana lähtökohtana taulukkomuotoiselle datalle.
Boosting on koneoppimisen ensemble-menetelmä, jossa monta yksinkertaista mallia koulutetaan peräkkäin niin, että kukin uusi malli keskittyy tapauksiin, joissa edeltäjät erehtyivät. Yhdessä ne muodostavat paljon tarkemman kokonaismallin. Tunnettuja muunnelmia ovat AdaBoost ja gradient boosting, ja kirjastoja ovat esimerkiksi XGBoost ja LightGBM. Boosting on erityisen vahva taulukkomuotoisessa datassa, esimerkiksi luottoriskin, myynnin tai asiakaspoistuman ennusteissa.
Päätöspuu on malli, joka esittää päätöksen sarjana yksinkertaisia kyllä/ei-kysymyksiä: jokainen haara testaa yhtä piirrettä ja jokainen lehti antaa lopputuloksen. Koneoppimisessa tällaiset puut opitaan automaattisesti datasta, ja niitä käytetään luokitteluun tai ennustamiseen. Niiden suurin vahvuus on läpinäkyvyys – ne voivat esimerkiksi osoittaa, miksi lainahakemus merkittiin tulojen, laina-ajan ja maksuhistorian perusteella.
Ylisovittuminen (overfitting) tarkoittaa, että malli oppii opetusdatan ulkoa, satunnaisine erikoisuuksineen ja kohinoineen, sen sijaan että se oppisi yleisesti päteviä säännönmukaisuuksia. Silloin se vaikuttaa erittäin tarkalta tutussa datassa mutta toimii huonosti uudessa datassa. Suuri ero opetus- ja testivirheen välillä on tyypillinen merkki. Torjuntakeinoja ovat enemmän tai monipuolisempi data, yksinkertaisemmat mallit, regularisointi, dropout ja ristiinvalidointi.
