Regularizacija obuhvaća tehnike koje tijekom treniranja sprječavaju model da se previše prilagodi podacima za učenje (pretreniranost). Primjeri su kažnjavanje velikih težina (L1 ili L2 regularizacija), nasumično isključivanje neurona (dropout) ili zaustavljanje treniranja u pravom trenutku (rano zaustavljanje). Cilj je jednostavniji model koji pouzdanije radi na novim, nevidljivim podacima, čak i ako na podacima za učenje postiže nešto slabiji rezultat.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoPretreniranost (overfitting) nastaje kada model nauči napamet podatke za učenje, uključujući slučajne osobitosti i šum, umjesto da obuhvati općenito važeće uzorke. Tada se čini vrlo točnim na poznatim podacima, ali loše radi na novima. Veliki razmak između pogreške na podacima za učenje i na testnim podacima tipičan je znak. Protumjere su više ili raznolikijih podataka, jednostavniji modeli, regularizacija, dropout i unakrsna validacija.
Dropout je tehnika regularizacije koja se koristi pri treniranju neuronskih mreža: u svakom koraku treniranja nasumičan udio neurona privremeno se isključuje. Time se sprječava da se mreža oslanja na pojedine veze pa uči robusnije obrasce. Smanjuje pretreniranost, tj. puko pamćenje podataka za treniranje. Kada se gotov model kasnije koristi, svi su neuroni ponovno aktivni.
Pogreška generalizacije mjeri koliko UI model griješi na novim, prethodno neviđenim podacima – za razliku od pogreške na podacima za treniranje. Velik jaz između to dvoje ukazuje na pretreniranost: model je zapamtio primjere umjesto da nauči opće obrasce. Procjenjuje se pomoću izdvojenih testnih podataka ili unakrsne validacije. To je pokazatelj koji stvarno računa, jer se u praksi model gotovo isključivo susreće s novim slučajevima.
Podtreniranost (underfitting) nastaje kada je model prejednostavan da bi obuhvatio odnose u podacima. Tada griješi mnogo i na podacima za učenje i na novim podacima, primjerice kada se ravna crta koristi za prikaz jasno zakrivljenog uzorka. Rješenja su snažniji model, informativnije značajke, dulje treniranje ili slabija regularizacija; suprotan problem je pretreniranost.
