Bagging (okrajšava za bootstrap aggregating) je ansambelska metoda strojnega učenja: številni modeli se učijo na naključno izbranih vzorcih učnih podatkov, njihove napovedi pa se povprečijo ali združijo z večinskim glasovanjem. Rezultati so tako stabilnejši, prekomerno prilagajanje pa manjše. Najbolj znan primer je naključni gozd, ki združuje številna odločitvena drevesa – na primer za napovedovanje odhoda strank ali cen.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevRegresija z naključnim gozdom napoveduje številske vrednosti s kombiniranjem številnih odločitvenih dreves. Vsako drevo se uči na naključnem vzorcu podatkov in naključni izbiri značilnic; rezultat je povprečje napovedi vseh dreves. Zaradi tega je metoda robustnejša in manj nagnjena k preveliko prileganju kot posamezno drevo. Uporablja se na primer za napovedi prodaje, ocene cen ali porabe energije – pogosto kot zanesljivo izhodišče za tabelarične podatke.
Boosting je ansambelska metoda strojnega učenja, pri kateri se številni preprosti modeli učijo drug za drugim, pri čemer se vsak novi model osredotoči na primere, pri katerih so se predhodniki zmotili. Skupaj tvorijo veliko natančnejši celotni model. Znani različici sta AdaBoost in gradientni boosting, s knjižnicami, kot sta XGBoost ali LightGBM. Boosting je posebej močan pri tabelaričnih podatkih, na primer pri napovedih kreditnega tveganja, prodaje ali odhoda strank.
Odločitveno drevo je model, ki odločitev predstavi kot zaporedje preprostih vprašanj z da/ne: vsaka veja preverja eno značilnost, vsak list pa podaja izid. Pri strojnem učenju se takšna drevesa samodejno naučijo iz podatkov in uporabljajo za klasifikacijo ali napovedovanje. Njihova glavna prednost je preglednost – na primer pokažejo, zakaj je bila prošnja za posojilo označena na podlagi dohodka, ročnosti in zgodovine plačil.
Preveliko prileganje nastane, ko si model zapomni podatke za učenje, vključno z naključnimi posebnostmi in šumom, namesto da bi zajel splošno veljavne vzorce. Na znanih podatkih potem deluje zelo natančno, na novih pa slabo. Tipičen znak je velika razlika med napako pri učenju in napako pri testiranju. Protiukrepi so več ali bolj raznolikih podatkov, preprostejši modeli, regularizacija, izpuščanje (dropout) in navzkrižno preverjanje.
