Povratna propagacija (backpropagation) standardna je metoda kojom neuronske mreže uče. Nakon svakog predviđanja mjeri se pogreška i širi unatrag kroz slojeve mreže, pokazujući koliko je svaka težina pridonijela pogrešci. Optimizacijska metoda kao što je gradijentni spust zatim postupno prilagođava težine. Bez povratne propagacije učenje današnjih jezičnih i slikovnih modela bilo bi praktički nemoguće.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoGradijentni spust je optimizacijska metoda kojom se trenira većina UI modela. Mjeri se koliko je velika pogreška modela, izračunava u kojem smjeru treba mijenjati parametre da bi se smanjila, a zatim se u tom smjeru čini mali korak – iznova i iznova. Slično je planinaru u magli koji stalno ide nizbrdo kako bi stigao do doline. Veličina koraka (stopa učenja) određuje brzinu i stabilnost.
Umjetne neuronske mreže (ANN) računski su modeli sastavljeni od mnogo povezanih jedinica („neurona”) raspoređenih u slojeve koji obrađuju unose putem ponderiranih veza. Tijekom treniranja težine se korak po korak prilagođavaju na primjerima, obično povratnim širenjem pogreške (backpropagation). ANN-ovi su temelj dubokog učenja i pokreću prepoznavanje slika i govora te velike jezične modele. Unatoč biološkoj inspiraciji, rade znatno jednostavnije od ljudskog mozga.
Aktivacijske funkcije određuju koliko snažno neuron u umjetnoj neuronskoj mreži prosljeđuje svoj signal. One uvode nelinearnost – tek tada mreža može prikazati složene odnose poput jezika ili slika. Uobičajeni su primjeri ReLU, koja negativne vrijednosti postavlja na nulu, sigmoida za vjerojatnosti između 0 i 1 te GELU, koja se koristi u mnogim transformer modelima. Izbor utječe na brzinu i stabilnost učenja.
Unakrsna entropija (cross-entropy) mjera je iz teorije informacija koja pokazuje koliko se predviđena distribucija vjerojatnosti razlikuje od stvarne. U strojnom učenju najčešća je funkcija gubitka za zadatke klasifikacije, kao i za jezične modele koji predviđaju sljedeći token. Posebno snažno kažnjava samouvjerena pogrešna predviđanja: dodjela 99 % pogrešnoj klasi daje mnogo veći gubitak od dodjele 60 %.
