Ristentroopia (cross-entropy) on infoteooria mõõt, mis näitab, kui kaugel ennustatud tõenäosusjaotus tegelikust on. Masinõppes on see klassifitseerimisülesannete ja ka järgmist tokenit ennustavate keelemudelite kõige levinum kadufunktsioon. See karistab eriti rängalt kindlaid valeennustusi: 99% määramine valele klassile annab palju suurema kao kui 60% määramine.
Logaritmiline kadu (log loss) mõõdab, kui hästi klassifitseerimismudeli ennustatud tõenäosused vastavad tegelikele tulemustele. Kindlaid, kuid valesid ennustusi karistatakse eriti rängalt; nullilähedane väärtus viitab hästi kalibreeritud prognoosidele. Näide: kui mudel annab kliendile, kes jääb, 95% lahkumistõenäosuse, tõuseb logaritmiline kadu järsult. Matemaatiliselt on see sama mis binaarne ristentroopia.
Gradientlaskumine on optimeerimismeetod, mida kasutatakse enamiku TI-mudelite treenimiseks. Mõõdetakse, kui suur on mudeli viga, arvutatakse, millises suunas peavad parameetrid muutuma, et seda vähendada, ja tehakse siis selles suunas väike samm – ikka ja jälle. See on nagu udus matkaja, kes jätkab allamäge kõndimist, et jõuda orgu. Sammu suurus (õppimiskiirus) määrab kiiruse ja stabiilsuse.
Klassifikaator on mudel või meetod, mis määrab sisendid ühte mitmest etteantud kategooriast. Klassikalisi variante, nagu otsustuspuud või naiivne Bayes, treenitakse märgendatud näidetega; keelemudelid saavad tekste sorteerida ka kategooriate kirjelduse põhjal. Tüüpilised kasutusalad on rämpsposti tuvastamine, klienditaotluste sorteerimine teemade kaupa ja kviitungite kategoriseerimine. Kvaliteeti mõõdetakse selliste mõõdikutega nagu täpsus (accuracy), täpsus (precision) ja saagis (recall).
Masinõppes tähendab koondumine (convergence) seda, et treenimisprotseduur läheneb stabiilsele olekule: kadu peaaegu enam ei vähene ja mudeli parameetrid muutuvad vaid minimaalselt. See, kas ja kui kiiresti mudel koondub, sõltub sellistest teguritest nagu õppimiskiirus, andmekvaliteet ja mudeli arhitektuur. Kui õppimiskiirus on liiga kõrge, kadu hüpleb; kui liiga madal, kestab treenimine põhjendamatult kaua. Koondumine ei garanteeri head mudelit, sest see võib siiski olla ülesobitatud.
