Paketinormaliseerimine on süvanärvivõrkude treenimise tehnika, mis skaleerib iga andmepaketi puhul kihi vaheväärtused ühtlase keskmise ja hajuvusega. See muudab treenimise stabiilsemaks ja sageli kiiremaks ning võrk muutub oma algväärtuste suhtes vähem tundlikuks. 2015. aastal kasutusele võetud tehnika on levinud pildituvastusvõrkudes; transformerid tuginevad tavaliselt sellega seotud kihinormaliseerimisele.
Süvaõpe on masinõppe haru, mis kasutab paljude kihtidega tehisnärvivõrke. Sellised võrgud õpivad suurtest andmehulkadest ise, millised tunnused on olulised – piltidel servadest, tekstides tähenduslike seosteni. Süvaõpe on tänapäevaste keelemudelite, pildituvastuse, kõnetuvastuse ja masintõlke aluseks ning vajab tavaliselt märkimisväärset arvutusvõimsust ja treeningandmeid.
Dropout on närvivõrkude treenimisel kasutatav regulariseerimisvõte: igal treeningsammul lülitatakse juhuslik osa neuroneid ajutiselt välja. See takistab võrgul tugineda üksikutele ühendustele, nii et see õpib vastupidavamaid mustreid. See vähendab ülesobitamist ehk treeningandmete lihtsalt pähe õppimist. Valmis mudeli hilisemal kasutamisel on kõik neuronid jälle aktiivsed.
Regulariseerimine hõlmab tehnikaid, mis takistavad mudelil treeningu ajal oma treeningandmetega liiga tihedalt sobituda (ülesobitamine). Näited on suurte kaalude karistamine (L1- või L2-regulariseerimine), neuronite juhuslik väljalülitamine (dropout) või treeningu õigel hetkel peatamine (early stopping). Eesmärk on lihtsam mudel, mis toimib uute, nägemata andmete puhul töökindlamalt, isegi kui treeningandmetel on tulemus veidi madalam.
Gradientlaskumine on optimeerimismeetod, mida kasutatakse enamiku TI-mudelite treenimiseks. Mõõdetakse, kui suur on mudeli viga, arvutatakse, millises suunas peavad parameetrid muutuma, et seda vähendada, ja tehakse siis selles suunas väike samm – ikka ja jälle. See on nagu udus matkaja, kes jätkab allamäge kõndimist, et jõuda orgu. Sammu suurus (õppimiskiirus) määrab kiiruse ja stabiilsuse.
