Krusteniskā validācija ir metode, ar kuru pārbauda, cik labi modelis vispārina jauniem, neredzētiem datiem. K-kārtu krusteniskajā validācijā dati tiek sadalīti k daļās; modelis tiek apmācīts k reizes uz k−1 daļām un katru reizi pārbaudīts uz atlikušās daļas, pēc tam rezultāti tiek vidēji aprēķināti. Tas palīdz atklāt pārmācīšanos un godīgi salīdzināt modeļus vai iestatījumus, īpaši, ja datu ir maz.
Pārmērīga pielāgošanās datiem rodas, kad modelis iegaumē apmācības datus, ieskaitot nejaušas īpatnības un troksni, nevis apgūst vispārīgi derīgas likumsakarības. Tad tas šķiet ļoti precīzs ar pazīstamiem datiem, bet slikti darbojas ar jauniem. Tipiska pazīme ir liela atšķirība starp apmācības un testa kļūdu. Pretlīdzekļi ir vairāk vai daudzveidīgāki dati, vienkāršāki modeļi, regularizācija, dropout un krusteniskā validācija.
Vispārināšanas kļūda mēra, cik tālu MI modelis kļūdās ar jauniem, iepriekš neredzētiem datiem — atšķirībā no tā kļūdas apmācības datos. Liela starpība starp abām norāda uz pārmācīšanos: modelis ir iegaumējis piemērus, nevis apguvis vispārīgas likumsakarības. To novērtē ar atliktiem testa datiem vai krustenisko validāciju. Tas ir rādītājs, kas patiešām skaitās, jo praksē modelis gandrīz vienmēr sastopas ar jauniem gadījumiem.
Hiperparametri ir iestatījumi, kas tiek noteikti pirms modeļa apmācības, piemēram, mācīšanās ātrums, slāņu skaits vai regularizācijas stiprums. Hiperparametru optimizācija sistemātiski meklē kombināciju, kas vislabāk darbojas ar validācijas datiem, piemēram, ar režģa meklēšanu, nejaušo meklēšanu vai Beijesa optimizāciju. Labi izvēlētas vērtības uzlabo pareizību un mazina pārmācīšanos vai nepietiekamu apmācību, taču meklēšana prasa skaitļošanas laiku.
Apmācības dati ir piemēri, no kuriem MI modelis apgūst likumsakarības: lielas teksta kolekcijas valodas modeļiem, marķēti attēli attēlu modeļiem. To kvalitāte, daudzveidība un aktualitāte lielā mērā nosaka, cik uzticams un taisnīgs ir modelis un cik aktuālas ir tā zināšanas. Organizācijām ir svarīgi arī tas, vai pakalpojumu sniedzējs ievadītos klientu datus izmanto tālākai apmācībai.
