Vzvratno razširjanje napake (backpropagation) je standardna metoda, s katero se nevronske mreže učijo. Po vsaki napovedi se izmeri napaka in se razširi nazaj skozi plasti mreže, kar pokaže, koliko je k njej prispevala posamezna utež. Optimizacijska metoda, kot je gradientni spust, nato uteži postopoma prilagodi. Brez vzvratnega razširjanja bi bilo učenje današnjih jezikovnih in slikovnih modelov praktično nemogoče.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevGradientni spust je optimizacijska metoda, s katero se uči večina modelov UI. Izmerite, kako velika je napaka modela, izračunate, v katero smer je treba spremeniti parametre, da jo zmanjšate, nato pa naredite majhen korak v tej smeri – znova in znova. To je kot pohodnik v megli, ki hodi vedno navzdol, da pride v dolino. Velikost koraka (stopnja učenja) določa hitrost in stabilnost.
Umetne nevronske mreže (artificial neural networks, ANN) so računski modeli iz mnogih povezanih enot („nevronov“), razporejenih v sloje, ki vhode obdelujejo prek uteženih povezav. Med učenjem se uteži korak za korakom prilagajajo na primerih, običajno z vzvratnim razširjanjem napake. ANN so temelj globokega učenja in poganjajo prepoznavanje slik, prepoznavanje govora in velike jezikovne modele. Kljub biološkemu zgledu delujejo veliko preprosteje kot človeški možgani.
Aktivacijske funkcije določajo, kako močno nevron v umetni nevronski mreži posreduje svoj signal naprej. Vnašajo nelinearnost – šele tako lahko mreža predstavi kompleksna razmerja, kot sta jezik ali slike. Pogosti primeri so ReLU, ki negativne vrednosti nastavi na nič, sigmoida za verjetnosti med 0 in 1 ter GELU, ki se uporablja v številnih modelih transformer. Izbira vpliva na hitrost in stabilnost učenja.
Navzkrižna entropija je merilo iz teorije informacij, ki pove, kako zelo se napovedana porazdelitev verjetnosti razlikuje od dejanske. Pri strojnem učenju je najpogostejša funkcija izgube za naloge klasifikacije, pa tudi za jezikovne modele, ki napovedujejo naslednji token. Še posebej močno kaznuje samozavestne napačne napovedi: če napačnemu razredu dodelimo 99 %, je izguba veliko višja kot pri 60 %.
