Pomak modela postupno je smanjenje kvalitete predviđanja modela tijekom rada jer se stvarnost mijenja u odnosu na podatke za učenje. Razlikuju se promjene ulaznih podataka (pomak podataka) i promjene odnosa između ulaznih podataka i ishoda (pomak koncepta). Primjer: model za otkrivanje prijevara ne prepoznaje nove obrasce prijevara. Rješenja su kontinuirano praćenje metrika i redovito ponovno učenje.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoRobusnost modela opisuje koliko pouzdano UI model radi kada su ulazni podaci zašumljeni, nepotpuni, neobični ili namjerno manipulirani. Robustan model i dalje daje stabilne rezultate, primjerice pri prepoznavanju slika u lošim svjetlosnim uvjetima ili kada jezični model obrađuje tipfelere. Robusnost se procjenjuje testovima opterećenja, raznolikim podacima za učenje i testovima protiv namjernih pokušaja obmane, a posebno je važna u primjenama kritičnima za sigurnost.
Podaci za učenje su primjeri iz kojih UI model uči uzorke: velike zbirke tekstova za jezične modele, označene slike za modele slika. Njihova kvaliteta, raznolikost i aktualnost uvelike određuju koliko će model biti pouzdan i pošten te koliko će njegovo znanje biti ažurno. Organizacijama je važno i koristi li pružatelj podatke klijenata koje unesu za daljnje treniranje.
MLflow je platforma otvorenog koda za upravljanje cijelim životnim ciklusom modela strojnog učenja, koju je izvorno 2018. predstavio Databricks. Bilježi eksperimente s njihovim parametrima i metrikama, upravlja verzijama modela u registru i pojednostavnjuje puštanje u rad. Novije verzije podržavaju i praćenje te evaluaciju aplikacija izgrađenih na jezičnim modelima. Timovi tako mogu pratiti koji je model nastao s kojim podacima i postavkama.
Točnost opisuje koliko često UI model daje ispravne rezultate; stabilnost opisuje koliko se pouzdano ta učinkovitost održava – uz blago izmijenjene unose, nove podatke ili tijekom vremena. Model može biti vrlo točan u testiranju, a ipak nestabilan ako već samo preformuliranje pitanja dovodi do drukčijeg odgovora. Za stvarnu uporabu oba se svojstva provjeravaju čvrstim testnim slučajevima, unakrsnom validacijom i stalnim nadzorom.
