LightGBM ir atvērtā pirmkoda gradienta pastiprināšanas bibliotēka ar lēmumu kokiem, ko sākotnēji izstrādāja Microsoft. Tā veidota ātrumam un zemam atmiņas patēriņam, cita starpā ar histogrammu balstītu apmācību un kokiem, kas aug pa lapām, izvēloties daudzsološāko lapu. LightGBM īpaši piemērota lielām tabulu datu kopām, piemēram, pārdošanas prognozēm, klientu aiziešanas prognozēšanai vai krāpšanas atklāšanai, un to bieži salīdzina ar XGBoost.
Gradienta pastiprināšana ir mašīnmācīšanās paņēmiens, kas vienu pēc otra apvieno daudzus vienkāršus modeļus — parasti mazus lēmumu kokus. Katrs jaunais koks tiek apmācīts īpaši, lai mazinātu iepriekšējo atlikušās kļūdas. Rezultāts ir ļoti precīzi modeļi tabulu datiem, piemēram, kredītriska, pārdošanas prognožu vai klientu aiziešanas varbūtības noteikšanai. Plaši pazīstamas implementācijas ir XGBoost, LightGBM un CatBoost; lai izvairītos no pārmācīšanās, nepieciešama rūpīga noregulēšana.
XGBoost (Extreme Gradient Boosting) ir atvērtā pirmkoda bibliotēka, kas īpaši efektīvi īsteno gradienta pastiprināšanu ar lēmumu kokiem. Daudzi mazi koki tiek apmācīti viens pēc otra, katrs labojot iepriekšējo kļūdas, bet regularizācija palīdz novērst pārmērīgu pielāgošanos. XGBoost tiek uzskatīts par pārbaudītu izvēli tabulu datiem, piemēram, kredītriska novērtēšanā, klientu aiziešanas prognozēšanā vai pārdošanas prognozēšanā.
Lēmumu koks ir modelis, kas lēmumu attēlo kā vienkāršu jautājumu „jā/nē” virkni: katrs zars pārbauda vienu pazīmi, un katra lapa dod rezultātu. Mašīnmācīšanās koki tiek apgūti automātiski no datiem un izmantoti klasifikācijai vai prognozēšanai. To galvenā priekšrocība ir pārredzamība — piemēram, tie parāda, kāpēc kredīta pieteikums tika atzīmēts, pamatojoties uz ienākumiem, termiņu un maksājumu vēsturi.
Boosting ir ansambļa metode mašīnmācīšanās jomā, kurā daudzi vienkārši modeļi tiek apmācīti viens pēc otra, katram jaunam modelim koncentrējoties uz gadījumiem, kuros tā priekšgājēji kļūdījās. Kopā tie veido daudz precīzāku kopējo modeli. Pazīstami varianti ir AdaBoost un gradienta boosting ar tādām bibliotēkām kā XGBoost vai LightGBM. Boosting ir īpaši spēcīgs tabulāriem datiem, piemēram, kredītriska, pārdošanas vai klientu aizplūšanas prognozēm.
