Aktivacijske funkcije določajo, kako močno nevron v umetni nevronski mreži posreduje svoj signal naprej. Vnašajo nelinearnost – šele tako lahko mreža predstavi kompleksna razmerja, kot sta jezik ali slike. Pogosti primeri so ReLU, ki negativne vrednosti nastavi na nič, sigmoida za verjetnosti med 0 in 1 ter GELU, ki se uporablja v številnih modelih transformer. Izbira vpliva na hitrost in stabilnost učenja.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevUmetne nevronske mreže (artificial neural networks, ANN) so računski modeli iz mnogih povezanih enot („nevronov“), razporejenih v sloje, ki vhode obdelujejo prek uteženih povezav. Med učenjem se uteži korak za korakom prilagajajo na primerih, običajno z vzvratnim razširjanjem napake. ANN so temelj globokega učenja in poganjajo prepoznavanje slik, prepoznavanje govora in velike jezikovne modele. Kljub biološkemu zgledu delujejo veliko preprosteje kot človeški možgani.
Vzvratno razširjanje napake (backpropagation) je standardna metoda, s katero se nevronske mreže učijo. Po vsaki napovedi se izmeri napaka in se razširi nazaj skozi plasti mreže, kar pokaže, koliko je k njej prispevala posamezna utež. Optimizacijska metoda, kot je gradientni spust, nato uteži postopoma prilagodi. Brez vzvratnega razširjanja bi bilo učenje današnjih jezikovnih in slikovnih modelov praktično nemogoče.
Globoko učenje je veja strojnega učenja, ki uporablja umetne nevronske mreže z mnogo sloji. Takšne mreže se iz velikih količin podatkov naučijo, katere značilnosti so pomembne – od robov na slikah do pomenskih povezav v besedilih. Globoko učenje je podlaga današnjih jezikovnih modelov, prepoznavanja slik in govora ter strojnega prevajanja in običajno zahteva veliko računske moči in učnih podatkov.
