Aktivatsioonifunktsioonid määravad, kui tugevalt tehisnärvivõrgu neuron oma signaali edasi annab. Need toovad sisse mittelineaarsuse – alles siis suudab võrk kujutada keerukaid seoseid, nagu keel või pildid. Levinud näited on ReLU, mis seab negatiivsed väärtused nulliks, sigmoid tõenäosuste jaoks vahemikus 0 kuni 1 ja GELU, mida kasutatakse paljudes transformer-mudelites. Valik mõjutab treenimise kiirust ja stabiilsust.
Tehisnärvivõrgud (artificial neural networks, ANN) on arvutusmudelid, mis koosnevad paljudest ühendatud üksustest („neuronitest“), mis on paigutatud kihtidesse ja töötlevad sisendeid kaalutud ühenduste kaudu. Treenimise käigus kohandatakse kaalusid samm-sammult näidete põhjal, tavaliselt tagasilevi (backpropagation) abil. ANN-id on süvaõppe alus ja annavad jõudu pildituvastusele, kõnetuvastusele ning suurtele keelemudelitele. Hoolimata bioloogilisest eeskujust töötavad need palju lihtsamalt kui inimese aju.
Vastupidine levi (backpropagation) on standardmeetod, mille abil närvivõrgud õpivad. Pärast iga ennustust mõõdetakse viga ja levitatakse see tagasisuunas läbi võrgu kihtide, mis näitab, kui palju iga kaal sellele kaasa aitas. Seejärel kohandab optimeerimismeetod, näiteks gradientlaskumine, kaale samm-sammult. Ilma vastupidise levita oleks tänapäevaste keele- ja pildimudelite treenimine praktiliselt võimatu.
Süvaõpe on masinõppe haru, mis kasutab paljude kihtidega tehisnärvivõrke. Sellised võrgud õpivad suurtest andmehulkadest ise, millised tunnused on olulised – piltidel servadest, tekstides tähenduslike seosteni. Süvaõpe on tänapäevaste keelemudelite, pildituvastuse, kõnetuvastuse ja masintõlke aluseks ning vajab tavaliselt märkimisväärset arvutusvõimsust ja treeningandmeid.
