U strojnom učenju konvergencija znači da se postupak treniranja približava stabilnom stanju: gubitak se gotovo više ne smanjuje, a parametri modela mijenjaju se tek minimalno. Hoće li model konvergirati i koliko brzo, ovisi o čimbenicima poput stope učenja, kvalitete podataka i arhitekture modela. Ako je stopa učenja previsoka, gubitak skače; ako je preniska, treniranje traje nepotrebno dugo. Konvergencija ne jamči dobar model, jer on i dalje može biti pretreniran.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoGradijentni spust je optimizacijska metoda kojom se trenira većina UI modela. Mjeri se koliko je velika pogreška modela, izračunava u kojem smjeru treba mijenjati parametre da bi se smanjila, a zatim se u tom smjeru čini mali korak – iznova i iznova. Slično je planinaru u magli koji stalno ide nizbrdo kako bi stigao do doline. Veličina koraka (stopa učenja) određuje brzinu i stabilnost.
U strojnom učenju krivulja učenja je grafikon koji prikazuje performanse ili pogrešku modela tijekom vremena treniranja ili ovisno o količini podataka za treniranje, obično zasebno za podatke za treniranje i validaciju. Njezin oblik otkriva je li model podtreniran ili pretreniran i hoće li više podataka vjerojatno pomoći. Ako pogreška na validaciji ostaje znatno iznad pogreške na treniranju, to upućuje na pretreniranost. U svakodnevnom jeziku pojam opisuje i koliko brzo ljudi svladavaju novu tehnologiju.
Pogreška učenja pokazuje koliko se predviđanja modela razlikuju od točnih vrijednosti na upravo onim podacima na kojima je treniran. Sama po sebi govori malo: važna je usporedba s pogreškom generalizacije na novim podacima. Visoka pogreška učenja upućuje na podtreniranost; vrlo niska pogreška učenja uz visoku pogrešku na testnim podacima obično signalizira pretreniranost.
Hiperparametri su postavke određene prije treniranja modela, poput stope učenja, broja slojeva ili jačine regularizacije. Optimizacija hiperparametara sustavno traži kombinaciju koja najbolje radi na podacima za validaciju, primjerice pretraživanjem po rešetki, nasumičnim pretraživanjem ili Bayesovom optimizacijom. Dobro odabrane vrijednosti poboljšavaju točnost i smanjuju pretreniranost ili podtreniranost, ali pretraga troši računalno vrijeme.
