Boosting ir ansambļa metode mašīnmācīšanās jomā, kurā daudzi vienkārši modeļi tiek apmācīti viens pēc otra, katram jaunam modelim koncentrējoties uz gadījumiem, kuros tā priekšgājēji kļūdījās. Kopā tie veido daudz precīzāku kopējo modeli. Pazīstami varianti ir AdaBoost un gradienta boosting ar tādām bibliotēkām kā XGBoost vai LightGBM. Boosting ir īpaši spēcīgs tabulāriem datiem, piemēram, kredītriska, pārdošanas vai klientu aizplūšanas prognozēm.
Gradienta pastiprināšana ir mašīnmācīšanās paņēmiens, kas vienu pēc otra apvieno daudzus vienkāršus modeļus — parasti mazus lēmumu kokus. Katrs jaunais koks tiek apmācīts īpaši, lai mazinātu iepriekšējo atlikušās kļūdas. Rezultāts ir ļoti precīzi modeļi tabulu datiem, piemēram, kredītriska, pārdošanas prognožu vai klientu aiziešanas varbūtības noteikšanai. Plaši pazīstamas implementācijas ir XGBoost, LightGBM un CatBoost; lai izvairītos no pārmācīšanās, nepieciešama rūpīga noregulēšana.
XGBoost (Extreme Gradient Boosting) ir atvērtā pirmkoda bibliotēka, kas īpaši efektīvi īsteno gradienta pastiprināšanu ar lēmumu kokiem. Daudzi mazi koki tiek apmācīti viens pēc otra, katrs labojot iepriekšējo kļūdas, bet regularizācija palīdz novērst pārmērīgu pielāgošanos. XGBoost tiek uzskatīts par pārbaudītu izvēli tabulu datiem, piemēram, kredītriska novērtēšanā, klientu aiziešanas prognozēšanā vai pārdošanas prognozēšanā.
LightGBM ir atvērtā pirmkoda gradienta pastiprināšanas bibliotēka ar lēmumu kokiem, ko sākotnēji izstrādāja Microsoft. Tā veidota ātrumam un zemam atmiņas patēriņam, cita starpā ar histogrammu balstītu apmācību un kokiem, kas aug pa lapām, izvēloties daudzsološāko lapu. LightGBM īpaši piemērota lielām tabulu datu kopām, piemēram, pārdošanas prognozēm, klientu aiziešanas prognozēšanai vai krāpšanas atklāšanai, un to bieži salīdzina ar XGBoost.
Bagging (saīsinājums no bootstrap aggregating) ir ansambļa metode mašīnmācīšanās jomā: daudzi modeļi tiek apmācīti ar nejauši izvēlētām apmācības datu izlasēm, un to prognozes tiek vidējotas vai apvienotas ar balsu vairākumu. Tas padara rezultātus stabilākus un samazina pārmērīgu pielāgošanos. Pazīstamākais piemērs ir nejaušais mežs, kas apvieno daudzus lēmumu kokus – piemēram, lai prognozētu klientu aizplūšanu vai cenas.
