Paketes normalizācija (batch normalisation) ir dziļo neironu tīklu apmācības paņēmiens, kas katrai datu paketei pārmērogo slāņa starpvērtības līdz vienotam vidējam un izkliedei. Tas padara apmācību stabilāku un bieži ātrāku, un tīkls kļūst mazāk jutīgs pret sākotnējām vērtībām. 2015. gadā ieviestā metode ir izplatīta attēlu atpazīšanas tīklos; transformeri parasti izmanto radniecīgo slāņa normalizāciju.
Dziļā mācīšanās ir mašīnmācīšanās nozare, kas izmanto mākslīgos neironu tīklus ar daudziem slāņiem. Šādi tīkli no lieliem datu apjomiem paši apgūst, kuras pazīmes ir svarīgas — no attēlu malām līdz nozīmes sakariem tekstos. Dziļā mācīšanās ir mūsdienu valodas modeļu, attēlu un runas atpazīšanas un mašīntulkošanas pamatā, un tai parasti nepieciešama ievērojama skaitļošanas jauda un daudz apmācības datu.
Dropout ir regularizācijas paņēmiens neironu tīklu apmācībā: katrā apmācības solī uz laiku tiek izslēgta nejauša neironu daļa. Tas neļauj tīklam paļauties uz atsevišķiem savienojumiem, tāpēc tas apgūst noturīgākas likumsakarības. Tas mazina pārmācīšanos, proti, vienkāršu apmācības datu iegaumēšanu. Kad gatavais modelis vēlāk tiek lietots, visi neironi atkal ir aktīvi.
Regularizācija aptver paņēmienus, kas apmācības laikā neļauj modelim pārāk cieši pielāgoties apmācības datiem (pārmērīga pielāgošanās). Piemēri ir lielu svaru sodīšana (L1 vai L2 regularizācija), neironu nejauša izslēgšana (dropout) vai apmācības apturēšana īstajā brīdī (agrīna apturēšana). Mērķis ir vienkāršāks modelis, kas uzticamāk darbojas ar jauniem, neredzētiem datiem, pat ja apmācības datos tas iegūst nedaudz zemāku rezultātu.
Gradienta nolaišanās ir optimizācijas metode, ko izmanto lielākās daļas MI modeļu apmācībai. Tiek izmērīts, cik liela ir modeļa kļūda, aprēķināts, kādā virzienā parametri jāmaina, lai to samazinātu, un tad tiek spērts neliels solis šajā virzienā — atkal un atkal. Tas ir kā pārgājiena dalībnieks miglā, kas turpina iet lejup, lai sasniegtu ieleju. Soļa lielums (mācīšanās ātrums) nosaka ātrumu un stabilitāti.
