Dropout ir regularizācijas paņēmiens neironu tīklu apmācībā: katrā apmācības solī uz laiku tiek izslēgta nejauša neironu daļa. Tas neļauj tīklam paļauties uz atsevišķiem savienojumiem, tāpēc tas apgūst noturīgākas likumsakarības. Tas mazina pārmācīšanos, proti, vienkāršu apmācības datu iegaumēšanu. Kad gatavais modelis vēlāk tiek lietots, visi neironi atkal ir aktīvi.
Pārmērīga pielāgošanās datiem rodas, kad modelis iegaumē apmācības datus, ieskaitot nejaušas īpatnības un troksni, nevis apgūst vispārīgi derīgas likumsakarības. Tad tas šķiet ļoti precīzs ar pazīstamiem datiem, bet slikti darbojas ar jauniem. Tipiska pazīme ir liela atšķirība starp apmācības un testa kļūdu. Pretlīdzekļi ir vairāk vai daudzveidīgāki dati, vienkāršāki modeļi, regularizācija, dropout un krusteniskā validācija.
Regularizācija aptver paņēmienus, kas apmācības laikā neļauj modelim pārāk cieši pielāgoties apmācības datiem (pārmērīga pielāgošanās). Piemēri ir lielu svaru sodīšana (L1 vai L2 regularizācija), neironu nejauša izslēgšana (dropout) vai apmācības apturēšana īstajā brīdī (agrīna apturēšana). Mērķis ir vienkāršāks modelis, kas uzticamāk darbojas ar jauniem, neredzētiem datiem, pat ja apmācības datos tas iegūst nedaudz zemāku rezultātu.
Mākslīgie neironu tīkli (ANN) ir skaitļošanas modeļi, kas sastāv no daudzām savienotām vienībām („neironiem”), kuras sakārtotas slāņos un apstrādā ievaddatus ar svērtiem savienojumiem. Apmācības laikā svari tiek soli pa solim pielāgoti ar piemēriem, parasti ar atpakaļizplatīšanos (backpropagation). ANN ir dziļās mācīšanās pamats, un uz tiem balstās attēlu atpazīšana, runas atpazīšana un lielie valodas modeļi. Neraugoties uz bioloģisko iedvesmu, tie darbojas daudz vienkāršāk nekā cilvēka smadzenes.
Paketes normalizācija (batch normalisation) ir dziļo neironu tīklu apmācības paņēmiens, kas katrai datu paketei pārmērogo slāņa starpvērtības līdz vienotam vidējam un izkliedei. Tas padara apmācību stabilāku un bieži ātrāku, un tīkls kļūst mazāk jutīgs pret sākotnējām vērtībām. 2015. gadā ieviestā metode ir izplatīta attēlu atpazīšanas tīklos; transformeri parasti izmanto radniecīgo slāņa normalizāciju.
