Regularizācija aptver paņēmienus, kas apmācības laikā neļauj modelim pārāk cieši pielāgoties apmācības datiem (pārmērīga pielāgošanās). Piemēri ir lielu svaru sodīšana (L1 vai L2 regularizācija), neironu nejauša izslēgšana (dropout) vai apmācības apturēšana īstajā brīdī (agrīna apturēšana). Mērķis ir vienkāršāks modelis, kas uzticamāk darbojas ar jauniem, neredzētiem datiem, pat ja apmācības datos tas iegūst nedaudz zemāku rezultātu.
Pārmērīga pielāgošanās datiem rodas, kad modelis iegaumē apmācības datus, ieskaitot nejaušas īpatnības un troksni, nevis apgūst vispārīgi derīgas likumsakarības. Tad tas šķiet ļoti precīzs ar pazīstamiem datiem, bet slikti darbojas ar jauniem. Tipiska pazīme ir liela atšķirība starp apmācības un testa kļūdu. Pretlīdzekļi ir vairāk vai daudzveidīgāki dati, vienkāršāki modeļi, regularizācija, dropout un krusteniskā validācija.
Dropout ir regularizācijas paņēmiens neironu tīklu apmācībā: katrā apmācības solī uz laiku tiek izslēgta nejauša neironu daļa. Tas neļauj tīklam paļauties uz atsevišķiem savienojumiem, tāpēc tas apgūst noturīgākas likumsakarības. Tas mazina pārmācīšanos, proti, vienkāršu apmācības datu iegaumēšanu. Kad gatavais modelis vēlāk tiek lietots, visi neironi atkal ir aktīvi.
Vispārināšanas kļūda mēra, cik tālu MI modelis kļūdās ar jauniem, iepriekš neredzētiem datiem — atšķirībā no tā kļūdas apmācības datos. Liela starpība starp abām norāda uz pārmācīšanos: modelis ir iegaumējis piemērus, nevis apguvis vispārīgas likumsakarības. To novērtē ar atliktiem testa datiem vai krustenisko validāciju. Tas ir rādītājs, kas patiešām skaitās, jo praksē modelis gandrīz vienmēr sastopas ar jauniem gadījumiem.
Nepietiekama pielāgošanās rodas, ja modelis ir pārāk vienkāršs, lai aptvertu sakarības datos. Tad tas pieļauj daudz kļūdu gan apmācības datos, gan jaunos datos, piemēram, ja skaidri izliektas likumsakarības attēlošanai izmanto taisni. Pretlīdzekļi ir jaudīgāks modelis, informatīvākas pazīmes, ilgāka apmācība vai mazāka regularizācija; pretēja problēma ir pārmērīga pielāgošanās.
