Paketna normalizacija je tehnika za učenje globokih nevronskih mrež, ki vmesne vrednosti plasti za vsak paket podatkov preračuna na enotno povprečje in razpršenost. Učenje je tako stabilnejše in pogosto hitrejše, mreža pa manj občutljiva na začetne vrednosti. Uvedena je bila leta 2015 in je pogosta v mrežah za prepoznavanje slik; transformerji se običajno zanašajo na sorodno normalizacijo plasti.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevGloboko učenje je veja strojnega učenja, ki uporablja umetne nevronske mreže z mnogo sloji. Takšne mreže se iz velikih količin podatkov naučijo, katere značilnosti so pomembne – od robov na slikah do pomenskih povezav v besedilih. Globoko učenje je podlaga današnjih jezikovnih modelov, prepoznavanja slik in govora ter strojnega prevajanja in običajno zahteva veliko računske moči in učnih podatkov.
Dropout je tehnika regularizacije pri učenju nevronskih mrež: pri vsakem učnem koraku se naključni del nevronov začasno izklopi. Tako se mreža ne more zanašati na posamezne povezave in se nauči robustnejših vzorcev. Zmanjšuje čezmerno prilagajanje, tj. golo zapomnitev učnih podatkov. Ko se dokončani model pozneje uporablja, so vsi nevroni spet aktivni.
Regularizacija zajema tehnike, ki med učenjem preprečujejo, da bi se model preveč tesno prilegel podatkom za učenje (preveliko prileganje). Primeri so kaznovanje velikih uteži (regularizacija L1 ali L2), naključno izklapljanje nevronov (dropout) ali ustavitev učenja ob pravem času (zgodnja ustavitev). Cilj je preprostejši model, ki zanesljiveje deluje na novih, še nevidenih podatkih, tudi če na podatkih za učenje doseže nekoliko slabši rezultat.
Gradientni spust je optimizacijska metoda, s katero se uči večina modelov UI. Izmerite, kako velika je napaka modela, izračunate, v katero smer je treba spremeniti parametre, da jo zmanjšate, nato pa naredite majhen korak v tej smeri – znova in znova. To je kot pohodnik v megli, ki hodi vedno navzdol, da pride v dolino. Velikost koraka (stopnja učenja) določa hitrost in stabilnost.
