Nejaušo mežu regresija prognozē skaitliskas vērtības, apvienojot daudzus lēmumu kokus. Katrs koks tiek apmācīts uz nejaušas datu izlases un nejauši izvēlētām pazīmēm; rezultāts ir visu koku prognožu vidējais. Tādējādi metode ir robustāka un mazāk pakļauta pārmērīgai pielāgošanai nekā atsevišķs koks. To izmanto, piemēram, pārdošanas prognozēm, cenu novērtējumiem vai enerģijas pieprasījumam — bieži kā stabilu sākumpunktu tabulu datiem.
Lēmumu koks ir modelis, kas lēmumu attēlo kā vienkāršu jautājumu „jā/nē” virkni: katrs zars pārbauda vienu pazīmi, un katra lapa dod rezultātu. Mašīnmācīšanās koki tiek apgūti automātiski no datiem un izmantoti klasifikācijai vai prognozēšanai. To galvenā priekšrocība ir pārredzamība — piemēram, tie parāda, kāpēc kredīta pieteikums tika atzīmēts, pamatojoties uz ienākumiem, termiņu un maksājumu vēsturi.
Bagging (saīsinājums no bootstrap aggregating) ir ansambļa metode mašīnmācīšanās jomā: daudzi modeļi tiek apmācīti ar nejauši izvēlētām apmācības datu izlasēm, un to prognozes tiek vidējotas vai apvienotas ar balsu vairākumu. Tas padara rezultātus stabilākus un samazina pārmērīgu pielāgošanos. Pazīstamākais piemērs ir nejaušais mežs, kas apvieno daudzus lēmumu kokus – piemēram, lai prognozētu klientu aizplūšanu vai cenas.
Gradienta pastiprināšana ir mašīnmācīšanās paņēmiens, kas vienu pēc otra apvieno daudzus vienkāršus modeļus — parasti mazus lēmumu kokus. Katrs jaunais koks tiek apmācīts īpaši, lai mazinātu iepriekšējo atlikušās kļūdas. Rezultāts ir ļoti precīzi modeļi tabulu datiem, piemēram, kredītriska, pārdošanas prognožu vai klientu aiziešanas varbūtības noteikšanai. Plaši pazīstamas implementācijas ir XGBoost, LightGBM un CatBoost; lai izvairītos no pārmācīšanās, nepieciešama rūpīga noregulēšana.
Lineārā regresija ir statistikas metode, kas ar taisni vai plakni apraksta sakarību starp mērķa mainīgo un vienu vai vairākiem prognozētājiem. Koeficientus parasti izvēlas tā, lai minimizētu kvadrātisko noviržu summu. Metode ir viegli saprotama un interpretējama: piemēram, tā var novērtēt, par cik pieaug ieņēmumi, kad reklāmas budžets palielinās par 1000 €. Ar nelineārām sakarībām tā sasniedz savas robežas.
