Dropout je tehnika regularizacije koja se koristi pri treniranju neuronskih mreža: u svakom koraku treniranja nasumičan udio neurona privremeno se isključuje. Time se sprječava da se mreža oslanja na pojedine veze pa uči robusnije obrasce. Smanjuje pretreniranost, tj. puko pamćenje podataka za treniranje. Kada se gotov model kasnije koristi, svi su neuroni ponovno aktivni.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoPretreniranost (overfitting) nastaje kada model nauči napamet podatke za učenje, uključujući slučajne osobitosti i šum, umjesto da obuhvati općenito važeće uzorke. Tada se čini vrlo točnim na poznatim podacima, ali loše radi na novima. Veliki razmak između pogreške na podacima za učenje i na testnim podacima tipičan je znak. Protumjere su više ili raznolikijih podataka, jednostavniji modeli, regularizacija, dropout i unakrsna validacija.
Regularizacija obuhvaća tehnike koje tijekom treniranja sprječavaju model da se previše prilagodi podacima za učenje (pretreniranost). Primjeri su kažnjavanje velikih težina (L1 ili L2 regularizacija), nasumično isključivanje neurona (dropout) ili zaustavljanje treniranja u pravom trenutku (rano zaustavljanje). Cilj je jednostavniji model koji pouzdanije radi na novim, nevidljivim podacima, čak i ako na podacima za učenje postiže nešto slabiji rezultat.
Umjetne neuronske mreže (ANN) računski su modeli sastavljeni od mnogo povezanih jedinica („neurona”) raspoređenih u slojeve koji obrađuju unose putem ponderiranih veza. Tijekom treniranja težine se korak po korak prilagođavaju na primjerima, obično povratnim širenjem pogreške (backpropagation). ANN-ovi su temelj dubokog učenja i pokreću prepoznavanje slika i govora te velike jezične modele. Unatoč biološkoj inspiraciji, rade znatno jednostavnije od ljudskog mozga.
Batch normalizacija tehnika je za učenje dubokih neuronskih mreža koja međuvrijednosti sloja za svaku seriju podataka svodi na ujednačenu srednju vrijednost i raspršenost. Time učenje postaje stabilnije i često brže, a mreža manje osjetljiva na početne vrijednosti. Uvedena 2015., česta je u mrežama za prepoznavanje slika; transformeri se uglavnom oslanjaju na srodnu normalizaciju sloja.
