Gradientlaskumine on optimeerimismeetod, mida kasutatakse enamiku TI-mudelite treenimiseks. Mõõdetakse, kui suur on mudeli viga, arvutatakse, millises suunas peavad parameetrid muutuma, et seda vähendada, ja tehakse siis selles suunas väike samm – ikka ja jälle. See on nagu udus matkaja, kes jätkab allamäge kõndimist, et jõuda orgu. Sammu suurus (õppimiskiirus) määrab kiiruse ja stabiilsuse.
Vastupidine levi (backpropagation) on standardmeetod, mille abil närvivõrgud õpivad. Pärast iga ennustust mõõdetakse viga ja levitatakse see tagasisuunas läbi võrgu kihtide, mis näitab, kui palju iga kaal sellele kaasa aitas. Seejärel kohandab optimeerimismeetod, näiteks gradientlaskumine, kaale samm-sammult. Ilma vastupidise levita oleks tänapäevaste keele- ja pildimudelite treenimine praktiliselt võimatu.
Masinõppes tähendab koondumine (convergence) seda, et treenimisprotseduur läheneb stabiilsele olekule: kadu peaaegu enam ei vähene ja mudeli parameetrid muutuvad vaid minimaalselt. See, kas ja kui kiiresti mudel koondub, sõltub sellistest teguritest nagu õppimiskiirus, andmekvaliteet ja mudeli arhitektuur. Kui õppimiskiirus on liiga kõrge, kadu hüpleb; kui liiga madal, kestab treenimine põhjendamatult kaua. Koondumine ei garanteeri head mudelit, sest see võib siiski olla ülesobitatud.
Ristentroopia (cross-entropy) on infoteooria mõõt, mis näitab, kui kaugel ennustatud tõenäosusjaotus tegelikust on. Masinõppes on see klassifitseerimisülesannete ja ka järgmist tokenit ennustavate keelemudelite kõige levinum kadufunktsioon. See karistab eriti rängalt kindlaid valeennustusi: 99% määramine valele klassile annab palju suurema kao kui 60% määramine.
Hüperparameetrid on seaded, mis fikseeritakse enne mudeli treenimist, näiteks õppimiskiirus, kihtide arv või regulariseerimise tugevus. Hüperparameetrite optimeerimine otsib süstemaatiliselt kombinatsiooni, mis toimib valideerimisandmetel kõige paremini, näiteks ruudustikotsingu, juhuotsingu või Bayesi optimeerimise abil. Hästi valitud väärtused parandavad täpsust ning vähendavad üle- või alasobitamist, kuid otsing nõuab arvutusaega.
