Atpakaļizplatīšana (backpropagation) ir standarta metode, ar kuru mācās neironu tīkli. Pēc katras prognozes tiek izmērīta kļūda un izplatīta atpakaļ cauri tīkla slāņiem, parādot, cik lielā mērā katrs svars to ir ietekmējis. Pēc tam optimizācijas metode, piemēram, gradienta nolaišanās, soli pa solim pielāgo svarus. Bez atpakaļizplatīšanas mūsdienu valodas un attēlu modeļu apmācība būtu praktiski neiespējama.
Gradienta nolaišanās ir optimizācijas metode, ko izmanto lielākās daļas MI modeļu apmācībai. Tiek izmērīts, cik liela ir modeļa kļūda, aprēķināts, kādā virzienā parametri jāmaina, lai to samazinātu, un tad tiek spērts neliels solis šajā virzienā — atkal un atkal. Tas ir kā pārgājiena dalībnieks miglā, kas turpina iet lejup, lai sasniegtu ieleju. Soļa lielums (mācīšanās ātrums) nosaka ātrumu un stabilitāti.
Mākslīgie neironu tīkli (ANN) ir skaitļošanas modeļi, kas sastāv no daudzām savienotām vienībām („neironiem”), kuras sakārtotas slāņos un apstrādā ievaddatus ar svērtiem savienojumiem. Apmācības laikā svari tiek soli pa solim pielāgoti ar piemēriem, parasti ar atpakaļizplatīšanos (backpropagation). ANN ir dziļās mācīšanās pamats, un uz tiem balstās attēlu atpazīšana, runas atpazīšana un lielie valodas modeļi. Neraugoties uz bioloģisko iedvesmu, tie darbojas daudz vienkāršāk nekā cilvēka smadzenes.
Aktivācijas funkcijas nosaka, cik spēcīgi mākslīgā neironu tīkla neirons nodod tālāk savu signālu. Tās ievieš nelinearitāti – tikai tad tīkls var attēlot sarežģītas sakarības, piemēram, valodu vai attēlus. Bieži piemēri ir ReLU, kas negatīvas vērtības pielīdzina nullei, sigmoīda funkcija varbūtībām no 0 līdz 1 un GELU, ko izmanto daudzos transformeru modeļos. Izvēle ietekmē apmācības ātrumu un stabilitāti.
Krustentropija ir informācijas teorijas mērs, kas norāda, cik tālu prognozētais varbūtību sadalījums atšķiras no faktiskā. Mašīnmācīšanās tā ir visbiežāk lietotā zudumfunkcija klasifikācijas uzdevumiem, kā arī valodas modeļiem, kas prognozē nākamo tokenu. Tā īpaši stipri soda pārliecinātas nepareizas prognozes: 99 % piešķiršana nepareizajai klasei dod daudz lielāku zudumu nekā 60 % piešķiršana.
