Boosting je ansambl metoda strojnog učenja u kojoj se mnogo jednostavnih modela uči jedan za drugim, pri čemu se svaki novi model usredotočuje na slučajeve u kojima su prethodnici pogriješili. Zajedno čine znatno točniji ukupni model. Poznate su varijante AdaBoost i gradient boosting, s bibliotekama kao što su XGBoost ili LightGBM. Boosting je osobito snažan na tabličnim podacima, primjerice za prognoze kreditnog rizika, prodaje ili odljeva kupaca.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoGradijentno pojačavanje (gradient boosting) tehnika je strojnog učenja koja jedan za drugim kombinira mnogo jednostavnih modela – obično malih stabala odlučivanja. Svako novo stablo trenira se posebno kako bi smanjilo preostale pogreške prethodnih. Rezultat su vrlo točni modeli za tablične podatke, primjerice za kreditni rizik, prognoze prodaje ili vjerojatnost odlaska klijenata. Poznate implementacije su XGBoost, LightGBM i CatBoost; potrebno je pažljivo podešavanje kako bi se izbjegla pretreniranost.
XGBoost (Extreme Gradient Boosting) je biblioteka otvorenog koda koja posebno učinkovito implementira gradijentno pojačavanje sa stablima odlučivanja. Mnogo malih stabala trenira se jedno za drugim, pri čemu svako ispravlja pogreške prethodnih, a regularizacija pomaže spriječiti pretreniranost. XGBoost se smatra provjerenim izborom za tablične podatke, primjerice kod procjene kreditnog rizika, predviđanja odljeva klijenata ili prognoziranja prodaje.
LightGBM je open-source biblioteka za gradijentno pojačavanje sa stablima odlučivanja, koju je izvorno razvio Microsoft. Osmišljena je za brzinu i malu potrošnju memorije, među ostalim histogramskim treniranjem i stablima koja rastu list po list na najperspektivnijem listu. LightGBM je posebno prikladan za velike tablične skupove podataka, primjerice za prognoze prodaje, predviđanje odlaska klijenata ili otkrivanje prijevara, a često se uspoređuje s XGBoostom.
Bagging (skraćeno od bootstrap aggregating) ansambl je metoda strojnog učenja: mnogo modela uči se na nasumično odabranim uzorcima podataka za učenje, a njihova se predviđanja usrednjavaju ili kombiniraju većinskim glasanjem. Time rezultati postaju stabilniji, a prenaučenost se smanjuje. Najpoznatiji je primjer slučajna šuma (random forest), koja kombinira mnogo stabala odlučivanja – primjerice za predviđanje odljeva kupaca ili cijena.
