Navzkrižna entropija je merilo iz teorije informacij, ki pove, kako zelo se napovedana porazdelitev verjetnosti razlikuje od dejanske. Pri strojnem učenju je najpogostejša funkcija izgube za naloge klasifikacije, pa tudi za jezikovne modele, ki napovedujejo naslednji token. Še posebej močno kaznuje samozavestne napačne napovedi: če napačnemu razredu dodelimo 99 %, je izguba veliko višja kot pri 60 %.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevLogaritemska izguba (log loss) meri, kako dobro se napovedane verjetnosti klasifikacijskega modela ujemajo z dejanskimi izidi. Samozavestne, a napačne napovedi so kaznovane še posebej močno; vrednost blizu ničle kaže na dobro kalibrirane napovedi. Primer: če model za stranko, ki ostane, poda 95-odstotno verjetnost odhoda, logaritemska izguba močno naraste. Matematično je enaka binarni navzkrižni entropiji.
Gradientni spust je optimizacijska metoda, s katero se uči večina modelov UI. Izmerite, kako velika je napaka modela, izračunate, v katero smer je treba spremeniti parametre, da jo zmanjšate, nato pa naredite majhen korak v tej smeri – znova in znova. To je kot pohodnik v megli, ki hodi vedno navzdol, da pride v dolino. Velikost koraka (stopnja učenja) določa hitrost in stabilnost.
Klasifikator je model ali metoda, ki vnose uvrsti v eno od več vnaprej določenih kategorij. Klasične različice, kot so odločitvena drevesa ali naivni Bayes, se učijo na označenih primerih; jezikovni modeli lahko besedila razvrščajo tudi na podlagi opisa kategorij. Tipična uporaba so prepoznavanje neželene pošte, razvrščanje povpraševanj strank po temah in razvrščanje računov. Kakovost se meri z merili, kot so točnost, natančnost in priklic.
Pri strojnem učenju konvergenca pomeni, da se postopek učenja približuje stabilnemu stanju: izguba se skoraj ne zmanjšuje več, parametri modela pa se spreminjajo le minimalno. Ali in kako hitro model konvergira, je odvisno od dejavnikov, kot so stopnja učenja, kakovost podatkov in arhitektura modela. Če je stopnja učenja previsoka, izguba skače; če je prenizka, učenje traja po nepotrebnem dolgo. Konvergenca ne zagotavlja dobrega modela, saj je ta lahko še vedno čezmerno prilagojen.
