Vastupidine levi (backpropagation) on standardmeetod, mille abil närvivõrgud õpivad. Pärast iga ennustust mõõdetakse viga ja levitatakse see tagasisuunas läbi võrgu kihtide, mis näitab, kui palju iga kaal sellele kaasa aitas. Seejärel kohandab optimeerimismeetod, näiteks gradientlaskumine, kaale samm-sammult. Ilma vastupidise levita oleks tänapäevaste keele- ja pildimudelite treenimine praktiliselt võimatu.
Gradientlaskumine on optimeerimismeetod, mida kasutatakse enamiku TI-mudelite treenimiseks. Mõõdetakse, kui suur on mudeli viga, arvutatakse, millises suunas peavad parameetrid muutuma, et seda vähendada, ja tehakse siis selles suunas väike samm – ikka ja jälle. See on nagu udus matkaja, kes jätkab allamäge kõndimist, et jõuda orgu. Sammu suurus (õppimiskiirus) määrab kiiruse ja stabiilsuse.
Tehisnärvivõrgud (artificial neural networks, ANN) on arvutusmudelid, mis koosnevad paljudest ühendatud üksustest („neuronitest“), mis on paigutatud kihtidesse ja töötlevad sisendeid kaalutud ühenduste kaudu. Treenimise käigus kohandatakse kaalusid samm-sammult näidete põhjal, tavaliselt tagasilevi (backpropagation) abil. ANN-id on süvaõppe alus ja annavad jõudu pildituvastusele, kõnetuvastusele ning suurtele keelemudelitele. Hoolimata bioloogilisest eeskujust töötavad need palju lihtsamalt kui inimese aju.
Aktivatsioonifunktsioonid määravad, kui tugevalt tehisnärvivõrgu neuron oma signaali edasi annab. Need toovad sisse mittelineaarsuse – alles siis suudab võrk kujutada keerukaid seoseid, nagu keel või pildid. Levinud näited on ReLU, mis seab negatiivsed väärtused nulliks, sigmoid tõenäosuste jaoks vahemikus 0 kuni 1 ja GELU, mida kasutatakse paljudes transformer-mudelites. Valik mõjutab treenimise kiirust ja stabiilsust.
Ristentroopia (cross-entropy) on infoteooria mõõt, mis näitab, kui kaugel ennustatud tõenäosusjaotus tegelikust on. Masinõppes on see klassifitseerimisülesannete ja ka järgmist tokenit ennustavate keelemudelite kõige levinum kadufunktsioon. See karistab eriti rängalt kindlaid valeennustusi: 99% määramine valele klassile annab palju suurema kao kui 60% määramine.
