Točnost opisuje koliko često UI model daje ispravne rezultate; stabilnost opisuje koliko se pouzdano ta učinkovitost održava – uz blago izmijenjene unose, nove podatke ili tijekom vremena. Model može biti vrlo točan u testiranju, a ipak nestabilan ako već samo preformuliranje pitanja dovodi do drukčijeg odgovora. Za stvarnu uporabu oba se svojstva provjeravaju čvrstim testnim slučajevima, unakrsnom validacijom i stalnim nadzorom.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoRobusnost modela opisuje koliko pouzdano UI model radi kada su ulazni podaci zašumljeni, nepotpuni, neobični ili namjerno manipulirani. Robustan model i dalje daje stabilne rezultate, primjerice pri prepoznavanju slika u lošim svjetlosnim uvjetima ili kada jezični model obrađuje tipfelere. Robusnost se procjenjuje testovima opterećenja, raznolikim podacima za učenje i testovima protiv namjernih pokušaja obmane, a posebno je važna u primjenama kritičnima za sigurnost.
Pomak modela postupno je smanjenje kvalitete predviđanja modela tijekom rada jer se stvarnost mijenja u odnosu na podatke za učenje. Razlikuju se promjene ulaznih podataka (pomak podataka) i promjene odnosa između ulaznih podataka i ishoda (pomak koncepta). Primjer: model za otkrivanje prijevara ne prepoznaje nove obrasce prijevara. Rješenja su kontinuirano praćenje metrika i redovito ponovno učenje.
Unakrsna validacija metoda je provjere koliko dobro model generalizira na nove, neviđene podatke. Kod k-struke unakrsne validacije podaci se dijele na k dijelova; model se trenira k puta na k−1 dijelova i svaki put testira na preostalom, nakon čega se rezultati usrednjuju. To pomaže otkriti pretreniranost te pošteno usporediti modele ili postavke, osobito kada je podataka malo.
U području UI-ja benchmarking znači sustavnu usporedbu modela ili sustava pomoću definiranih zadataka i kriterija. Javni benchmarkovi mjere, primjerice, opće znanje, zaključivanje ili sposobnost programiranja; za praktičnu primjenu ipak su najvažniji testni slučajevi iz vlastitog svakodnevnog rada. Tipični su kriteriji točnost, potpunost, vrijeme odziva i trošak. To pomaže odlučiti je li manji, jeftiniji model dovoljno dobar za neki zadatak.
