Dropout on närvivõrkude treenimisel kasutatav regulariseerimisvõte: igal treeningsammul lülitatakse juhuslik osa neuroneid ajutiselt välja. See takistab võrgul tugineda üksikutele ühendustele, nii et see õpib vastupidavamaid mustreid. See vähendab ülesobitamist ehk treeningandmete lihtsalt pähe õppimist. Valmis mudeli hilisemal kasutamisel on kõik neuronid jälle aktiivsed.
Ülesobitamine (overfitting) tekib siis, kui mudel jätab treeningandmed, sealhulgas juhuslikud omapärad ja müra, pähe, selle asemel et tabada üldkehtivaid mustreid. Siis tundub see tuttavate andmete puhul väga täpne, kuid toimib uute andmete puhul halvasti. Tüüpiline märk on suur vahe treening- ja testivea vahel. Vastumeetmed on rohkem või mitmekesisemad andmed, lihtsamad mudelid, regulariseerimine, dropout ja ristvalideerimine.
Regulariseerimine hõlmab tehnikaid, mis takistavad mudelil treeningu ajal oma treeningandmetega liiga tihedalt sobituda (ülesobitamine). Näited on suurte kaalude karistamine (L1- või L2-regulariseerimine), neuronite juhuslik väljalülitamine (dropout) või treeningu õigel hetkel peatamine (early stopping). Eesmärk on lihtsam mudel, mis toimib uute, nägemata andmete puhul töökindlamalt, isegi kui treeningandmetel on tulemus veidi madalam.
Tehisnärvivõrgud (artificial neural networks, ANN) on arvutusmudelid, mis koosnevad paljudest ühendatud üksustest („neuronitest“), mis on paigutatud kihtidesse ja töötlevad sisendeid kaalutud ühenduste kaudu. Treenimise käigus kohandatakse kaalusid samm-sammult näidete põhjal, tavaliselt tagasilevi (backpropagation) abil. ANN-id on süvaõppe alus ja annavad jõudu pildituvastusele, kõnetuvastusele ning suurtele keelemudelitele. Hoolimata bioloogilisest eeskujust töötavad need palju lihtsamalt kui inimese aju.
Paketinormaliseerimine on süvanärvivõrkude treenimise tehnika, mis skaleerib iga andmepaketi puhul kihi vaheväärtused ühtlase keskmise ja hajuvusega. See muudab treenimise stabiilsemaks ja sageli kiiremaks ning võrk muutub oma algväärtuste suhtes vähem tundlikuks. 2015. aastal kasutusele võetud tehnika on levinud pildituvastusvõrkudes; transformerid tuginevad tavaliselt sellega seotud kihinormaliseerimisele.
