Dropout je tehnika regularizacije pri učenju nevronskih mrež: pri vsakem učnem koraku se naključni del nevronov začasno izklopi. Tako se mreža ne more zanašati na posamezne povezave in se nauči robustnejših vzorcev. Zmanjšuje čezmerno prilagajanje, tj. golo zapomnitev učnih podatkov. Ko se dokončani model pozneje uporablja, so vsi nevroni spet aktivni.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevPreveliko prileganje nastane, ko si model zapomni podatke za učenje, vključno z naključnimi posebnostmi in šumom, namesto da bi zajel splošno veljavne vzorce. Na znanih podatkih potem deluje zelo natančno, na novih pa slabo. Tipičen znak je velika razlika med napako pri učenju in napako pri testiranju. Protiukrepi so več ali bolj raznolikih podatkov, preprostejši modeli, regularizacija, izpuščanje (dropout) in navzkrižno preverjanje.
Regularizacija zajema tehnike, ki med učenjem preprečujejo, da bi se model preveč tesno prilegel podatkom za učenje (preveliko prileganje). Primeri so kaznovanje velikih uteži (regularizacija L1 ali L2), naključno izklapljanje nevronov (dropout) ali ustavitev učenja ob pravem času (zgodnja ustavitev). Cilj je preprostejši model, ki zanesljiveje deluje na novih, še nevidenih podatkih, tudi če na podatkih za učenje doseže nekoliko slabši rezultat.
Umetne nevronske mreže (artificial neural networks, ANN) so računski modeli iz mnogih povezanih enot („nevronov“), razporejenih v sloje, ki vhode obdelujejo prek uteženih povezav. Med učenjem se uteži korak za korakom prilagajajo na primerih, običajno z vzvratnim razširjanjem napake. ANN so temelj globokega učenja in poganjajo prepoznavanje slik, prepoznavanje govora in velike jezikovne modele. Kljub biološkemu zgledu delujejo veliko preprosteje kot človeški možgani.
Paketna normalizacija je tehnika za učenje globokih nevronskih mrež, ki vmesne vrednosti plasti za vsak paket podatkov preračuna na enotno povprečje in razpršenost. Učenje je tako stabilnejše in pogosto hitrejše, mreža pa manj občutljiva na začetne vrednosti. Uvedena je bila leta 2015 in je pogosta v mrežah za prepoznavanje slik; transformerji se običajno zanašajo na sorodno normalizacijo plasti.
