Aktivacijske funkcije određuju koliko snažno neuron u umjetnoj neuronskoj mreži prosljeđuje svoj signal. One uvode nelinearnost – tek tada mreža može prikazati složene odnose poput jezika ili slika. Uobičajeni su primjeri ReLU, koja negativne vrijednosti postavlja na nulu, sigmoida za vjerojatnosti između 0 i 1 te GELU, koja se koristi u mnogim transformer modelima. Izbor utječe na brzinu i stabilnost učenja.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoUmjetne neuronske mreže (ANN) računski su modeli sastavljeni od mnogo povezanih jedinica („neurona”) raspoređenih u slojeve koji obrađuju unose putem ponderiranih veza. Tijekom treniranja težine se korak po korak prilagođavaju na primjerima, obično povratnim širenjem pogreške (backpropagation). ANN-ovi su temelj dubokog učenja i pokreću prepoznavanje slika i govora te velike jezične modele. Unatoč biološkoj inspiraciji, rade znatno jednostavnije od ljudskog mozga.
Povratna propagacija (backpropagation) standardna je metoda kojom neuronske mreže uče. Nakon svakog predviđanja mjeri se pogreška i širi unatrag kroz slojeve mreže, pokazujući koliko je svaka težina pridonijela pogrešci. Optimizacijska metoda kao što je gradijentni spust zatim postupno prilagođava težine. Bez povratne propagacije učenje današnjih jezičnih i slikovnih modela bilo bi praktički nemoguće.
Duboko učenje je grana strojnog učenja koja koristi umjetne neuronske mreže s mnogo slojeva. Takve mreže iz velikih količina podataka uče koja su obilježja važna – od rubova na slikama do odnosa značenja u tekstovima. Duboko učenje temelj je današnjih jezičnih modela, prepoznavanja slika i govora te strojnog prevođenja, a obično zahtijeva znatnu računalnu snagu i podatke za treniranje.
