Unakrsna entropija (cross-entropy) mjera je iz teorije informacija koja pokazuje koliko se predviđena distribucija vjerojatnosti razlikuje od stvarne. U strojnom učenju najčešća je funkcija gubitka za zadatke klasifikacije, kao i za jezične modele koji predviđaju sljedeći token. Posebno snažno kažnjava samouvjerena pogrešna predviđanja: dodjela 99 % pogrešnoj klasi daje mnogo veći gubitak od dodjele 60 %.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoLog loss (logaritamski gubitak) mjeri koliko se predviđene vjerojatnosti klasifikacijskog modela podudaraju sa stvarnim ishodima. Samouvjerena, ali pogrešna predviđanja kažnjavaju se posebno snažno; vrijednost blizu nule upućuje na dobro kalibrirane prognoze. Primjer: ako model klijentu koji ostaje dodijeli 95 % vjerojatnosti odlaska, log loss naglo raste. Matematički je isto što i binarna unakrsna entropija.
Gradijentni spust je optimizacijska metoda kojom se trenira većina UI modela. Mjeri se koliko je velika pogreška modela, izračunava u kojem smjeru treba mijenjati parametre da bi se smanjila, a zatim se u tom smjeru čini mali korak – iznova i iznova. Slično je planinaru u magli koji stalno ide nizbrdo kako bi stigao do doline. Veličina koraka (stopa učenja) određuje brzinu i stabilnost.
Klasifikator je model ili metoda koja unose razvrstava u jednu od nekoliko unaprijed definiranih kategorija. Klasične varijante poput stabala odlučivanja ili naivnog Bayesa treniraju se na označenim primjerima; jezični modeli mogu razvrstavati tekstove i na temelju opisa kategorija. Tipične primjene uključuju prepoznavanje spama, razvrstavanje upita klijenata po temama i kategoriziranje računa. Kvaliteta se mjeri metrikama poput točnosti, preciznosti i odziva.
U strojnom učenju konvergencija znači da se postupak treniranja približava stabilnom stanju: gubitak se gotovo više ne smanjuje, a parametri modela mijenjaju se tek minimalno. Hoće li model konvergirati i koliko brzo, ovisi o čimbenicima poput stope učenja, kvalitete podataka i arhitekture modela. Ako je stopa učenja previsoka, gubitak skače; ako je preniska, treniranje traje nepotrebno dugo. Konvergencija ne jamči dobar model, jer on i dalje može biti pretreniran.
