Batch normalizacija tehnika je za učenje dubokih neuronskih mreža koja međuvrijednosti sloja za svaku seriju podataka svodi na ujednačenu srednju vrijednost i raspršenost. Time učenje postaje stabilnije i često brže, a mreža manje osjetljiva na početne vrijednosti. Uvedena 2015., česta je u mrežama za prepoznavanje slika; transformeri se uglavnom oslanjaju na srodnu normalizaciju sloja.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoDuboko učenje je grana strojnog učenja koja koristi umjetne neuronske mreže s mnogo slojeva. Takve mreže iz velikih količina podataka uče koja su obilježja važna – od rubova na slikama do odnosa značenja u tekstovima. Duboko učenje temelj je današnjih jezičnih modela, prepoznavanja slika i govora te strojnog prevođenja, a obično zahtijeva znatnu računalnu snagu i podatke za treniranje.
Dropout je tehnika regularizacije koja se koristi pri treniranju neuronskih mreža: u svakom koraku treniranja nasumičan udio neurona privremeno se isključuje. Time se sprječava da se mreža oslanja na pojedine veze pa uči robusnije obrasce. Smanjuje pretreniranost, tj. puko pamćenje podataka za treniranje. Kada se gotov model kasnije koristi, svi su neuroni ponovno aktivni.
Regularizacija obuhvaća tehnike koje tijekom treniranja sprječavaju model da se previše prilagodi podacima za učenje (pretreniranost). Primjeri su kažnjavanje velikih težina (L1 ili L2 regularizacija), nasumično isključivanje neurona (dropout) ili zaustavljanje treniranja u pravom trenutku (rano zaustavljanje). Cilj je jednostavniji model koji pouzdanije radi na novim, nevidljivim podacima, čak i ako na podacima za učenje postiže nešto slabiji rezultat.
Gradijentni spust je optimizacijska metoda kojom se trenira većina UI modela. Mjeri se koliko je velika pogreška modela, izračunava u kojem smjeru treba mijenjati parametre da bi se smanjila, a zatim se u tom smjeru čini mali korak – iznova i iznova. Slično je planinaru u magli koji stalno ide nizbrdo kako bi stigao do doline. Veličina koraka (stopa učenja) određuje brzinu i stabilnost.
