Pretreniranost (overfitting) nastaje kada model nauči napamet podatke za učenje, uključujući slučajne osobitosti i šum, umjesto da obuhvati općenito važeće uzorke. Tada se čini vrlo točnim na poznatim podacima, ali loše radi na novima. Veliki razmak između pogreške na podacima za učenje i na testnim podacima tipičan je znak. Protumjere su više ili raznolikijih podataka, jednostavniji modeli, regularizacija, dropout i unakrsna validacija.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoPodtreniranost (underfitting) nastaje kada je model prejednostavan da bi obuhvatio odnose u podacima. Tada griješi mnogo i na podacima za učenje i na novim podacima, primjerice kada se ravna crta koristi za prikaz jasno zakrivljenog uzorka. Rješenja su snažniji model, informativnije značajke, dulje treniranje ili slabija regularizacija; suprotan problem je pretreniranost.
Regularizacija obuhvaća tehnike koje tijekom treniranja sprječavaju model da se previše prilagodi podacima za učenje (pretreniranost). Primjeri su kažnjavanje velikih težina (L1 ili L2 regularizacija), nasumično isključivanje neurona (dropout) ili zaustavljanje treniranja u pravom trenutku (rano zaustavljanje). Cilj je jednostavniji model koji pouzdanije radi na novim, nevidljivim podacima, čak i ako na podacima za učenje postiže nešto slabiji rezultat.
Unakrsna validacija metoda je provjere koliko dobro model generalizira na nove, neviđene podatke. Kod k-struke unakrsne validacije podaci se dijele na k dijelova; model se trenira k puta na k−1 dijelova i svaki put testira na preostalom, nakon čega se rezultati usrednjuju. To pomaže otkriti pretreniranost te pošteno usporediti modele ili postavke, osobito kada je podataka malo.
Pogreška generalizacije mjeri koliko UI model griješi na novim, prethodno neviđenim podacima – za razliku od pogreške na podacima za treniranje. Velik jaz između to dvoje ukazuje na pretreniranost: model je zapamtio primjere umjesto da nauči opće obrasce. Procjenjuje se pomoću izdvojenih testnih podataka ili unakrsne validacije. To je pokazatelj koji stvarno računa, jer se u praksi model gotovo isključivo susreće s novim slučajevima.
