Pogreška generalizacije mjeri koliko UI model griješi na novim, prethodno neviđenim podacima – za razliku od pogreške na podacima za treniranje. Velik jaz između to dvoje ukazuje na pretreniranost: model je zapamtio primjere umjesto da nauči opće obrasce. Procjenjuje se pomoću izdvojenih testnih podataka ili unakrsne validacije. To je pokazatelj koji stvarno računa, jer se u praksi model gotovo isključivo susreće s novim slučajevima.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoPretreniranost (overfitting) nastaje kada model nauči napamet podatke za učenje, uključujući slučajne osobitosti i šum, umjesto da obuhvati općenito važeće uzorke. Tada se čini vrlo točnim na poznatim podacima, ali loše radi na novima. Veliki razmak između pogreške na podacima za učenje i na testnim podacima tipičan je znak. Protumjere su više ili raznolikijih podataka, jednostavniji modeli, regularizacija, dropout i unakrsna validacija.
Podtreniranost (underfitting) nastaje kada je model prejednostavan da bi obuhvatio odnose u podacima. Tada griješi mnogo i na podacima za učenje i na novim podacima, primjerice kada se ravna crta koristi za prikaz jasno zakrivljenog uzorka. Rješenja su snažniji model, informativnije značajke, dulje treniranje ili slabija regularizacija; suprotan problem je pretreniranost.
Pogreška učenja pokazuje koliko se predviđanja modela razlikuju od točnih vrijednosti na upravo onim podacima na kojima je treniran. Sama po sebi govori malo: važna je usporedba s pogreškom generalizacije na novim podacima. Visoka pogreška učenja upućuje na podtreniranost; vrlo niska pogreška učenja uz visoku pogrešku na testnim podacima obično signalizira pretreniranost.
Unakrsna validacija metoda je provjere koliko dobro model generalizira na nove, neviđene podatke. Kod k-struke unakrsne validacije podaci se dijele na k dijelova; model se trenira k puta na k−1 dijelova i svaki put testira na preostalom, nakon čega se rezultati usrednjuju. To pomaže otkriti pretreniranost te pošteno usporediti modele ili postavke, osobito kada je podataka malo.
