Regulariseerimine hõlmab tehnikaid, mis takistavad mudelil treeningu ajal oma treeningandmetega liiga tihedalt sobituda (ülesobitamine). Näited on suurte kaalude karistamine (L1- või L2-regulariseerimine), neuronite juhuslik väljalülitamine (dropout) või treeningu õigel hetkel peatamine (early stopping). Eesmärk on lihtsam mudel, mis toimib uute, nägemata andmete puhul töökindlamalt, isegi kui treeningandmetel on tulemus veidi madalam.
Ülesobitamine (overfitting) tekib siis, kui mudel jätab treeningandmed, sealhulgas juhuslikud omapärad ja müra, pähe, selle asemel et tabada üldkehtivaid mustreid. Siis tundub see tuttavate andmete puhul väga täpne, kuid toimib uute andmete puhul halvasti. Tüüpiline märk on suur vahe treening- ja testivea vahel. Vastumeetmed on rohkem või mitmekesisemad andmed, lihtsamad mudelid, regulariseerimine, dropout ja ristvalideerimine.
Dropout on närvivõrkude treenimisel kasutatav regulariseerimisvõte: igal treeningsammul lülitatakse juhuslik osa neuroneid ajutiselt välja. See takistab võrgul tugineda üksikutele ühendustele, nii et see õpib vastupidavamaid mustreid. See vähendab ülesobitamist ehk treeningandmete lihtsalt pähe õppimist. Valmis mudeli hilisemal kasutamisel on kõik neuronid jälle aktiivsed.
Üldistusviga mõõdab, kui palju TI-mudel eksib uute, varem nägemata andmete puhul – erinevalt veast treeningandmetel. Suur lõhe nende kahe vahel viitab ülesobitamisele: mudel on näited pähe õppinud, mitte üldisi mustreid omandanud. Seda hinnatakse kõrvale jäetud testandmete või ristvalideerimise abil. See on näitaja, mis tegelikult loeb, sest praktikas puutub mudel kokku peaaegu ainult uute juhtumitega.
Alasobitamine (underfitting) tekib siis, kui mudel on liiga lihtne, et andmetes olevaid seoseid tabada. Siis teeb see palju vigu nii treeningandmetel kui ka uutel andmetel, näiteks kui selgelt kõverat mustrit püütakse kujutada sirgjoonega. Abinõud on võimekam mudel, informatiivsemad tunnused, pikem treening või vähem regulariseerimist; vastupidine probleem on ülesobitamine.
