Bagging (saīsinājums no bootstrap aggregating) ir ansambļa metode mašīnmācīšanās jomā: daudzi modeļi tiek apmācīti ar nejauši izvēlētām apmācības datu izlasēm, un to prognozes tiek vidējotas vai apvienotas ar balsu vairākumu. Tas padara rezultātus stabilākus un samazina pārmērīgu pielāgošanos. Pazīstamākais piemērs ir nejaušais mežs, kas apvieno daudzus lēmumu kokus – piemēram, lai prognozētu klientu aizplūšanu vai cenas.
Nejaušo mežu regresija prognozē skaitliskas vērtības, apvienojot daudzus lēmumu kokus. Katrs koks tiek apmācīts uz nejaušas datu izlases un nejauši izvēlētām pazīmēm; rezultāts ir visu koku prognožu vidējais. Tādējādi metode ir robustāka un mazāk pakļauta pārmērīgai pielāgošanai nekā atsevišķs koks. To izmanto, piemēram, pārdošanas prognozēm, cenu novērtējumiem vai enerģijas pieprasījumam — bieži kā stabilu sākumpunktu tabulu datiem.
Boosting ir ansambļa metode mašīnmācīšanās jomā, kurā daudzi vienkārši modeļi tiek apmācīti viens pēc otra, katram jaunam modelim koncentrējoties uz gadījumiem, kuros tā priekšgājēji kļūdījās. Kopā tie veido daudz precīzāku kopējo modeli. Pazīstami varianti ir AdaBoost un gradienta boosting ar tādām bibliotēkām kā XGBoost vai LightGBM. Boosting ir īpaši spēcīgs tabulāriem datiem, piemēram, kredītriska, pārdošanas vai klientu aizplūšanas prognozēm.
Lēmumu koks ir modelis, kas lēmumu attēlo kā vienkāršu jautājumu „jā/nē” virkni: katrs zars pārbauda vienu pazīmi, un katra lapa dod rezultātu. Mašīnmācīšanās koki tiek apgūti automātiski no datiem un izmantoti klasifikācijai vai prognozēšanai. To galvenā priekšrocība ir pārredzamība — piemēram, tie parāda, kāpēc kredīta pieteikums tika atzīmēts, pamatojoties uz ienākumiem, termiņu un maksājumu vēsturi.
Pārmērīga pielāgošanās datiem rodas, kad modelis iegaumē apmācības datus, ieskaitot nejaušas īpatnības un troksni, nevis apgūst vispārīgi derīgas likumsakarības. Tad tas šķiet ļoti precīzs ar pazīstamiem datiem, bet slikti darbojas ar jauniem. Tipiska pazīme ir liela atšķirība starp apmācības un testa kļūdu. Pretlīdzekļi ir vairāk vai daudzveidīgāki dati, vienkāršāki modeļi, regularizācija, dropout un krusteniskā validācija.
