Apmācības kļūda parāda, cik tālu modeļa prognozes novirzās no pareizajām vērtībām tieši tajos datos, uz kuriem tas apmācīts. Pati par sevi tā maz ko pasaka: svarīgs ir salīdzinājums ar vispārināšanas kļūdu uz jauniem datiem. Augsta apmācības kļūda norāda uz nepietiekamu pielāgošanos; ļoti zema apmācības kļūda kopā ar augstu kļūdu testa datos parasti liecina par pārmērīgu pielāgošanos.
Vispārināšanas kļūda mēra, cik tālu MI modelis kļūdās ar jauniem, iepriekš neredzētiem datiem — atšķirībā no tā kļūdas apmācības datos. Liela starpība starp abām norāda uz pārmācīšanos: modelis ir iegaumējis piemērus, nevis apguvis vispārīgas likumsakarības. To novērtē ar atliktiem testa datiem vai krustenisko validāciju. Tas ir rādītājs, kas patiešām skaitās, jo praksē modelis gandrīz vienmēr sastopas ar jauniem gadījumiem.
Pārmērīga pielāgošanās datiem rodas, kad modelis iegaumē apmācības datus, ieskaitot nejaušas īpatnības un troksni, nevis apgūst vispārīgi derīgas likumsakarības. Tad tas šķiet ļoti precīzs ar pazīstamiem datiem, bet slikti darbojas ar jauniem. Tipiska pazīme ir liela atšķirība starp apmācības un testa kļūdu. Pretlīdzekļi ir vairāk vai daudzveidīgāki dati, vienkāršāki modeļi, regularizācija, dropout un krusteniskā validācija.
Nepietiekama pielāgošanās rodas, ja modelis ir pārāk vienkāršs, lai aptvertu sakarības datos. Tad tas pieļauj daudz kļūdu gan apmācības datos, gan jaunos datos, piemēram, ja skaidri izliektas likumsakarības attēlošanai izmanto taisni. Pretlīdzekļi ir jaudīgāks modelis, informatīvākas pazīmes, ilgāka apmācība vai mazāka regularizācija; pretēja problēma ir pārmērīga pielāgošanās.
Krusteniskā validācija ir metode, ar kuru pārbauda, cik labi modelis vispārina jauniem, neredzētiem datiem. K-kārtu krusteniskajā validācijā dati tiek sadalīti k daļās; modelis tiek apmācīts k reizes uz k−1 daļām un katru reizi pārbaudīts uz atlikušās daļas, pēc tam rezultāti tiek vidēji aprēķināti. Tas palīdz atklāt pārmācīšanos un godīgi salīdzināt modeļus vai iestatījumus, īpaši, ja datu ir maz.
