Aktivācijas funkcijas nosaka, cik spēcīgi mākslīgā neironu tīkla neirons nodod tālāk savu signālu. Tās ievieš nelinearitāti – tikai tad tīkls var attēlot sarežģītas sakarības, piemēram, valodu vai attēlus. Bieži piemēri ir ReLU, kas negatīvas vērtības pielīdzina nullei, sigmoīda funkcija varbūtībām no 0 līdz 1 un GELU, ko izmanto daudzos transformeru modeļos. Izvēle ietekmē apmācības ātrumu un stabilitāti.
Mākslīgie neironu tīkli (ANN) ir skaitļošanas modeļi, kas sastāv no daudzām savienotām vienībām („neironiem”), kuras sakārtotas slāņos un apstrādā ievaddatus ar svērtiem savienojumiem. Apmācības laikā svari tiek soli pa solim pielāgoti ar piemēriem, parasti ar atpakaļizplatīšanos (backpropagation). ANN ir dziļās mācīšanās pamats, un uz tiem balstās attēlu atpazīšana, runas atpazīšana un lielie valodas modeļi. Neraugoties uz bioloģisko iedvesmu, tie darbojas daudz vienkāršāk nekā cilvēka smadzenes.
Atpakaļizplatīšana (backpropagation) ir standarta metode, ar kuru mācās neironu tīkli. Pēc katras prognozes tiek izmērīta kļūda un izplatīta atpakaļ cauri tīkla slāņiem, parādot, cik lielā mērā katrs svars to ir ietekmējis. Pēc tam optimizācijas metode, piemēram, gradienta nolaišanās, soli pa solim pielāgo svarus. Bez atpakaļizplatīšanas mūsdienu valodas un attēlu modeļu apmācība būtu praktiski neiespējama.
Dziļā mācīšanās ir mašīnmācīšanās nozare, kas izmanto mākslīgos neironu tīklus ar daudziem slāņiem. Šādi tīkli no lieliem datu apjomiem paši apgūst, kuras pazīmes ir svarīgas — no attēlu malām līdz nozīmes sakariem tekstos. Dziļā mācīšanās ir mūsdienu valodas modeļu, attēlu un runas atpazīšanas un mašīntulkošanas pamatā, un tai parasti nepieciešama ievērojama skaitļošanas jauda un daudz apmācības datu.
