Krustentropija ir informācijas teorijas mērs, kas norāda, cik tālu prognozētais varbūtību sadalījums atšķiras no faktiskā. Mašīnmācīšanās tā ir visbiežāk lietotā zudumfunkcija klasifikācijas uzdevumiem, kā arī valodas modeļiem, kas prognozē nākamo tokenu. Tā īpaši stipri soda pārliecinātas nepareizas prognozes: 99 % piešķiršana nepareizajai klasei dod daudz lielāku zudumu nekā 60 % piešķiršana.
Logaritmiskais zudums (log loss) mēra, cik labi klasifikācijas modeļa prognozētās varbūtības atbilst faktiskajiem iznākumiem. Pārliecinātas, bet nepareizas prognozes tiek sodītas īpaši stipri; vērtība tuvu nullei norāda uz labi kalibrētām prognozēm. Piemērs: ja modelis dod 95 % klienta aiziešanas varbūtību klientam, kurš paliek, logaritmiskais zudums strauji pieaug. Matemātiski tas ir tas pats, kas binārā krustentropija.
Gradienta nolaišanās ir optimizācijas metode, ko izmanto lielākās daļas MI modeļu apmācībai. Tiek izmērīts, cik liela ir modeļa kļūda, aprēķināts, kādā virzienā parametri jāmaina, lai to samazinātu, un tad tiek spērts neliels solis šajā virzienā — atkal un atkal. Tas ir kā pārgājiena dalībnieks miglā, kas turpina iet lejup, lai sasniegtu ieleju. Soļa lielums (mācīšanās ātrums) nosaka ātrumu un stabilitāti.
Klasifikators ir modelis vai metode, kas ievaddatus piešķir vienai no vairākām iepriekš noteiktām kategorijām. Klasiskus variantus, piemēram, lēmumu kokus vai naivo Beijesa metodi, apmāca uz marķētiem piemēriem; valodas modeļi tekstus var šķirot arī pēc kategoriju apraksta. Tipiski lietojumi ir surogātpasta atpazīšana, klientu pieprasījumu šķirošana pēc tēmas un kvīšu kategorizēšana. Kvalitāti mēra ar metrikām, piemēram, pareizību, precizitāti un pārklājumu.
Mašīnmācīšanās konverģence nozīmē, ka apmācības procedūra tuvojas stabilam stāvoklim: zudums gandrīz vairs nesamazinās un modeļa parametri mainās tikai minimāli. Tas, vai un cik ātri modelis konverģē, ir atkarīgs no tādiem faktoriem kā mācīšanās ātrums, datu kvalitāte un modeļa arhitektūra. Ja mācīšanās ātrums ir pārāk liels, zudums lēkā; ja pārāk mazs, apmācība velkas bez vajadzības. Konverģence negarantē labu modeli, jo tas joprojām var būt pārmācīts.
