Ristvalideerimine on meetod, millega kontrollitakse, kui hästi mudel üldistub uutele, nägemata andmetele. K-osaga ristvalideerimisel jagatakse andmed k osaks; mudelit treenitakse k korda k−1 osal ja testitakse iga kord ülejäänud osal, seejärel tulemused keskmistatakse. See aitab avastada ülesobitamist ja võrrelda mudeleid või seadeid ausalt, eriti kui andmeid on vähe.
Ülesobitamine (overfitting) tekib siis, kui mudel jätab treeningandmed, sealhulgas juhuslikud omapärad ja müra, pähe, selle asemel et tabada üldkehtivaid mustreid. Siis tundub see tuttavate andmete puhul väga täpne, kuid toimib uute andmete puhul halvasti. Tüüpiline märk on suur vahe treening- ja testivea vahel. Vastumeetmed on rohkem või mitmekesisemad andmed, lihtsamad mudelid, regulariseerimine, dropout ja ristvalideerimine.
Üldistusviga mõõdab, kui palju TI-mudel eksib uute, varem nägemata andmete puhul – erinevalt veast treeningandmetel. Suur lõhe nende kahe vahel viitab ülesobitamisele: mudel on näited pähe õppinud, mitte üldisi mustreid omandanud. Seda hinnatakse kõrvale jäetud testandmete või ristvalideerimise abil. See on näitaja, mis tegelikult loeb, sest praktikas puutub mudel kokku peaaegu ainult uute juhtumitega.
Hüperparameetrid on seaded, mis fikseeritakse enne mudeli treenimist, näiteks õppimiskiirus, kihtide arv või regulariseerimise tugevus. Hüperparameetrite optimeerimine otsib süstemaatiliselt kombinatsiooni, mis toimib valideerimisandmetel kõige paremini, näiteks ruudustikotsingu, juhuotsingu või Bayesi optimeerimise abil. Hästi valitud väärtused parandavad täpsust ning vähendavad üle- või alasobitamist, kuid otsing nõuab arvutusaega.
Treeningandmed on näited, millest TI-mudel mustreid õpib: suured tekstikogud keelemudelite jaoks, märgendatud pildid pildimudelite jaoks. Nende kvaliteet, mitmekesisus ja värskus määravad suuresti, kui usaldusväärne ja õiglane mudel on ning kui ajakohased on selle teadmised. Organisatsioonide jaoks on oluline ka see, kas pakkuja kasutab nende sisestatud kliendiandmeid edasiseks treenimiseks.
