XGBoost (Extreme Gradient Boosting) ir atvērtā pirmkoda bibliotēka, kas īpaši efektīvi īsteno gradienta pastiprināšanu ar lēmumu kokiem. Daudzi mazi koki tiek apmācīti viens pēc otra, katrs labojot iepriekšējo kļūdas, bet regularizācija palīdz novērst pārmērīgu pielāgošanos. XGBoost tiek uzskatīts par pārbaudītu izvēli tabulu datiem, piemēram, kredītriska novērtēšanā, klientu aiziešanas prognozēšanā vai pārdošanas prognozēšanā.
Gradienta pastiprināšana ir mašīnmācīšanās paņēmiens, kas vienu pēc otra apvieno daudzus vienkāršus modeļus — parasti mazus lēmumu kokus. Katrs jaunais koks tiek apmācīts īpaši, lai mazinātu iepriekšējo atlikušās kļūdas. Rezultāts ir ļoti precīzi modeļi tabulu datiem, piemēram, kredītriska, pārdošanas prognožu vai klientu aiziešanas varbūtības noteikšanai. Plaši pazīstamas implementācijas ir XGBoost, LightGBM un CatBoost; lai izvairītos no pārmācīšanās, nepieciešama rūpīga noregulēšana.
LightGBM ir atvērtā pirmkoda gradienta pastiprināšanas bibliotēka ar lēmumu kokiem, ko sākotnēji izstrādāja Microsoft. Tā veidota ātrumam un zemam atmiņas patēriņam, cita starpā ar histogrammu balstītu apmācību un kokiem, kas aug pa lapām, izvēloties daudzsološāko lapu. LightGBM īpaši piemērota lielām tabulu datu kopām, piemēram, pārdošanas prognozēm, klientu aiziešanas prognozēšanai vai krāpšanas atklāšanai, un to bieži salīdzina ar XGBoost.
Boosting ir ansambļa metode mašīnmācīšanās jomā, kurā daudzi vienkārši modeļi tiek apmācīti viens pēc otra, katram jaunam modelim koncentrējoties uz gadījumiem, kuros tā priekšgājēji kļūdījās. Kopā tie veido daudz precīzāku kopējo modeli. Pazīstami varianti ir AdaBoost un gradienta boosting ar tādām bibliotēkām kā XGBoost vai LightGBM. Boosting ir īpaši spēcīgs tabulāriem datiem, piemēram, kredītriska, pārdošanas vai klientu aizplūšanas prognozēm.
Nejaušo mežu regresija prognozē skaitliskas vērtības, apvienojot daudzus lēmumu kokus. Katrs koks tiek apmācīts uz nejaušas datu izlases un nejauši izvēlētām pazīmēm; rezultāts ir visu koku prognožu vidējais. Tādējādi metode ir robustāka un mazāk pakļauta pārmērīgai pielāgošanai nekā atsevišķs koks. To izmanto, piemēram, pārdošanas prognozēm, cenu novērtējumiem vai enerģijas pieprasījumam — bieži kā stabilu sākumpunktu tabulu datiem.
