Mašīnmācīšanās konverģence nozīmē, ka apmācības procedūra tuvojas stabilam stāvoklim: zudums gandrīz vairs nesamazinās un modeļa parametri mainās tikai minimāli. Tas, vai un cik ātri modelis konverģē, ir atkarīgs no tādiem faktoriem kā mācīšanās ātrums, datu kvalitāte un modeļa arhitektūra. Ja mācīšanās ātrums ir pārāk liels, zudums lēkā; ja pārāk mazs, apmācība velkas bez vajadzības. Konverģence negarantē labu modeli, jo tas joprojām var būt pārmācīts.
Gradienta nolaišanās ir optimizācijas metode, ko izmanto lielākās daļas MI modeļu apmācībai. Tiek izmērīts, cik liela ir modeļa kļūda, aprēķināts, kādā virzienā parametri jāmaina, lai to samazinātu, un tad tiek spērts neliels solis šajā virzienā — atkal un atkal. Tas ir kā pārgājiena dalībnieks miglā, kas turpina iet lejup, lai sasniegtu ieleju. Soļa lielums (mācīšanās ātrums) nosaka ātrumu un stabilitāti.
Mašīnmācīšanās mācīšanās līkne ir diagramma, kas parāda modeļa veiktspēju vai kļūdu atkarībā no apmācības laika vai apmācības datu apjoma, parasti atsevišķi apmācības un validācijas datiem. Tās forma atklāj, vai modelis ir nepietiekami vai pārmērīgi apmācīts un vai vairāk datu, visticamāk, palīdzēs. Ja, piemēram, validācijas kļūda paliek ievērojami virs apmācības kļūdas, tas norāda uz pārmācīšanos. Ikdienas valodā šis termins apraksta arī to, cik ātri cilvēki apgūst jaunu tehnoloģiju.
Apmācības kļūda parāda, cik tālu modeļa prognozes novirzās no pareizajām vērtībām tieši tajos datos, uz kuriem tas apmācīts. Pati par sevi tā maz ko pasaka: svarīgs ir salīdzinājums ar vispārināšanas kļūdu uz jauniem datiem. Augsta apmācības kļūda norāda uz nepietiekamu pielāgošanos; ļoti zema apmācības kļūda kopā ar augstu kļūdu testa datos parasti liecina par pārmērīgu pielāgošanos.
Hiperparametri ir iestatījumi, kas tiek noteikti pirms modeļa apmācības, piemēram, mācīšanās ātrums, slāņu skaits vai regularizācijas stiprums. Hiperparametru optimizācija sistemātiski meklē kombināciju, kas vislabāk darbojas ar validācijas datiem, piemēram, ar režģa meklēšanu, nejaušo meklēšanu vai Beijesa optimizāciju. Labi izvēlētas vērtības uzlabo pareizību un mazina pārmācīšanos vai nepietiekamu apmācību, taču meklēšana prasa skaitļošanas laiku.
