Gradienta nolaišanās ir optimizācijas metode, ko izmanto lielākās daļas MI modeļu apmācībai. Tiek izmērīts, cik liela ir modeļa kļūda, aprēķināts, kādā virzienā parametri jāmaina, lai to samazinātu, un tad tiek spērts neliels solis šajā virzienā — atkal un atkal. Tas ir kā pārgājiena dalībnieks miglā, kas turpina iet lejup, lai sasniegtu ieleju. Soļa lielums (mācīšanās ātrums) nosaka ātrumu un stabilitāti.
Atpakaļizplatīšana (backpropagation) ir standarta metode, ar kuru mācās neironu tīkli. Pēc katras prognozes tiek izmērīta kļūda un izplatīta atpakaļ cauri tīkla slāņiem, parādot, cik lielā mērā katrs svars to ir ietekmējis. Pēc tam optimizācijas metode, piemēram, gradienta nolaišanās, soli pa solim pielāgo svarus. Bez atpakaļizplatīšanas mūsdienu valodas un attēlu modeļu apmācība būtu praktiski neiespējama.
Mašīnmācīšanās konverģence nozīmē, ka apmācības procedūra tuvojas stabilam stāvoklim: zudums gandrīz vairs nesamazinās un modeļa parametri mainās tikai minimāli. Tas, vai un cik ātri modelis konverģē, ir atkarīgs no tādiem faktoriem kā mācīšanās ātrums, datu kvalitāte un modeļa arhitektūra. Ja mācīšanās ātrums ir pārāk liels, zudums lēkā; ja pārāk mazs, apmācība velkas bez vajadzības. Konverģence negarantē labu modeli, jo tas joprojām var būt pārmācīts.
Krustentropija ir informācijas teorijas mērs, kas norāda, cik tālu prognozētais varbūtību sadalījums atšķiras no faktiskā. Mašīnmācīšanās tā ir visbiežāk lietotā zudumfunkcija klasifikācijas uzdevumiem, kā arī valodas modeļiem, kas prognozē nākamo tokenu. Tā īpaši stipri soda pārliecinātas nepareizas prognozes: 99 % piešķiršana nepareizajai klasei dod daudz lielāku zudumu nekā 60 % piešķiršana.
Hiperparametri ir iestatījumi, kas tiek noteikti pirms modeļa apmācības, piemēram, mācīšanās ātrums, slāņu skaits vai regularizācijas stiprums. Hiperparametru optimizācija sistemātiski meklē kombināciju, kas vislabāk darbojas ar validācijas datiem, piemēram, ar režģa meklēšanu, nejaušo meklēšanu vai Beijesa optimizāciju. Labi izvēlētas vērtības uzlabo pareizību un mazina pārmācīšanos vai nepietiekamu apmācību, taču meklēšana prasa skaitļošanas laiku.
