Tarkkuus kuvaa, kuinka usein tekoälymalli tuottaa oikeita tuloksia; vakaus kuvaa, kuinka luotettavasti tämä suorituskyky säilyy – hieman muuttuneilla syötteillä, uudella datalla tai ajan mittaan. Malli voi olla testissä hyvin tarkka mutta epävakaa, jos pelkkä kysymyksen uudelleenmuotoilu johtaa eri vastaukseen. Todellisessa käytössä molempia ominaisuuksia tarkistetaan kiinteillä testitapauksilla, ristiinvalidoinnilla ja jatkuvalla seurannalla.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoMallin kestävyys (robustness) kuvaa, kuinka luotettavasti tekoälymalli toimii, kun syötteet ovat kohinaisia, puutteellisia, epätavallisia tai tarkoituksella manipuloituja. Kestävä malli tuottaa silti vakaita tuloksia, esimerkiksi tunnistaa kuvia huonossa valaistuksessa tai selviää kielimallina kirjoitusvirheistä. Kestävyyttä arvioidaan stressitesteillä, monipuolisella opetusdatalla ja tahallisia harhautusyrityksiä vastaan tehtävillä testeillä, ja se on erityisen tärkeää turvallisuuskriittisissä sovelluksissa.
Mallin ajautuma (model drift) on mallin ennustelaadun vähittäistä heikkenemistä käytön aikana, koska todellisuus muuttuu opetusdataan verrattuna. Erotetaan toisistaan syöttödatan muutokset (data drift) ja syötteiden sekä lopputulosten välisen suhteen muutokset (concept drift). Esimerkki: petostentunnistusmalli ei havaitse uusia huijaustapoja. Keinoja ovat mittareiden jatkuva seuranta ja säännöllinen uudelleenopetus.
Ristiinvalidointi on menetelmä, jolla tarkistetaan, kuinka hyvin malli yleistyy uuteen, näkemättömään dataan. K-kertaisessa ristiinvalidoinnissa data jaetaan k osaan; malli koulutetaan k kertaa k−1 osalla ja testataan kullakin kerralla jäljellä olevalla osalla, minkä jälkeen tulokset keskiarvoistetaan. Tämä auttaa havaitsemaan ylisovittamisen ja vertailemaan malleja tai asetuksia reilusti, erityisesti kun dataa on vähän.
Tekoälyssä benchmarking tarkoittaa mallien tai järjestelmien järjestelmällistä vertailua määriteltyjen tehtävien ja kriteerien avulla. Julkiset vertailutestit mittaavat esimerkiksi yleistietoa, päättelykykyä tai ohjelmointitaitoa; käytännön käytössä tärkeimpiä ovat kuitenkin oman arkityön testitapaukset. Tyypillisiä kriteerejä ovat tarkkuus, kattavuus, vasteaika ja kustannukset. Tämä auttaa päättämään, riittääkö pienempi ja edullisempi malli tehtävään.
