Mallin ajautuma (model drift) on mallin ennustelaadun vähittäistä heikkenemistä käytön aikana, koska todellisuus muuttuu opetusdataan verrattuna. Erotetaan toisistaan syöttödatan muutokset (data drift) ja syötteiden sekä lopputulosten välisen suhteen muutokset (concept drift). Esimerkki: petostentunnistusmalli ei havaitse uusia huijaustapoja. Keinoja ovat mittareiden jatkuva seuranta ja säännöllinen uudelleenopetus.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoMallin kestävyys (robustness) kuvaa, kuinka luotettavasti tekoälymalli toimii, kun syötteet ovat kohinaisia, puutteellisia, epätavallisia tai tarkoituksella manipuloituja. Kestävä malli tuottaa silti vakaita tuloksia, esimerkiksi tunnistaa kuvia huonossa valaistuksessa tai selviää kielimallina kirjoitusvirheistä. Kestävyyttä arvioidaan stressitesteillä, monipuolisella opetusdatalla ja tahallisia harhautusyrityksiä vastaan tehtävillä testeillä, ja se on erityisen tärkeää turvallisuuskriittisissä sovelluksissa.
Opetusdata ovat esimerkkejä, joista tekoälymalli oppii säännönmukaisuuksia: suuria tekstikokoelmia kielimalleille, luokiteltuja kuvia kuvamalleille. Niiden laatu, monipuolisuus ja ajantasaisuus määräävät pitkälti, kuinka luotettava ja oikeudenmukainen malli on ja kuinka ajan tasalla sen tietämys on. Organisaatioille on myös tärkeää, käyttääkö tarjoaja syöttämiään asiakastietoja jatko-opetukseen.
MLflow on avoimen lähdekoodin alusta koneoppimismallien koko elinkaaren hallintaan. Databricks esitteli sen alun perin vuonna 2018. Se kirjaa kokeet parametreineen ja mittareineen, hallitsee mallien versioita rekisterissä ja helpottaa käyttöönottoa. Uudemmat versiot tukevat myös kielimallipohjaisten sovellusten jäljitystä ja arviointia. Tiimit voivat siten selvittää, mikä malli on tuotettu millä datalla ja millä asetuksilla.
Tarkkuus kuvaa, kuinka usein tekoälymalli tuottaa oikeita tuloksia; vakaus kuvaa, kuinka luotettavasti tämä suorituskyky säilyy – hieman muuttuneilla syötteillä, uudella datalla tai ajan mittaan. Malli voi olla testissä hyvin tarkka mutta epävakaa, jos pelkkä kysymyksen uudelleenmuotoilu johtaa eri vastaukseen. Todellisessa käytössä molempia ominaisuuksia tarkistetaan kiinteillä testitapauksilla, ristiinvalidoinnilla ja jatkuvalla seurannalla.
