Podtreniranost (underfitting) nastaje kada je model prejednostavan da bi obuhvatio odnose u podacima. Tada griješi mnogo i na podacima za učenje i na novim podacima, primjerice kada se ravna crta koristi za prikaz jasno zakrivljenog uzorka. Rješenja su snažniji model, informativnije značajke, dulje treniranje ili slabija regularizacija; suprotan problem je pretreniranost.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoPretreniranost (overfitting) nastaje kada model nauči napamet podatke za učenje, uključujući slučajne osobitosti i šum, umjesto da obuhvati općenito važeće uzorke. Tada se čini vrlo točnim na poznatim podacima, ali loše radi na novima. Veliki razmak između pogreške na podacima za učenje i na testnim podacima tipičan je znak. Protumjere su više ili raznolikijih podataka, jednostavniji modeli, regularizacija, dropout i unakrsna validacija.
Pogreška generalizacije mjeri koliko UI model griješi na novim, prethodno neviđenim podacima – za razliku od pogreške na podacima za treniranje. Velik jaz između to dvoje ukazuje na pretreniranost: model je zapamtio primjere umjesto da nauči opće obrasce. Procjenjuje se pomoću izdvojenih testnih podataka ili unakrsne validacije. To je pokazatelj koji stvarno računa, jer se u praksi model gotovo isključivo susreće s novim slučajevima.
Pogreška učenja pokazuje koliko se predviđanja modela razlikuju od točnih vrijednosti na upravo onim podacima na kojima je treniran. Sama po sebi govori malo: važna je usporedba s pogreškom generalizacije na novim podacima. Visoka pogreška učenja upućuje na podtreniranost; vrlo niska pogreška učenja uz visoku pogrešku na testnim podacima obično signalizira pretreniranost.
Regularizacija obuhvaća tehnike koje tijekom treniranja sprječavaju model da se previše prilagodi podacima za učenje (pretreniranost). Primjeri su kažnjavanje velikih težina (L1 ili L2 regularizacija), nasumično isključivanje neurona (dropout) ili zaustavljanje treniranja u pravom trenutku (rano zaustavljanje). Cilj je jednostavniji model koji pouzdanije radi na novim, nevidljivim podacima, čak i ako na podacima za učenje postiže nešto slabiji rezultat.
