Tikslumas apibūdina, kaip dažnai DI modelis pateikia teisingus rezultatus; stabilumas – kaip patikimai ši kokybė išlieka – esant šiek tiek pakeistiems įvesties duomenims, naujiems duomenims ar laikui bėgant. Modelis gali būti labai tikslus per testus, bet nestabilus, jei vien perfrazavus klausimą pateikiamas kitas atsakymas. Realiam naudojimui abi savybės tikrinamos pastoviais testiniais atvejais, kryžminiu patvirtinimu ir nuolatine stebėsena.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąModelio atsparumas apibūdina, kaip patikimai DI modelis veikia, kai įvestis yra triukšminga, neišsami, neįprasta ar tyčia manipuliuojama. Atsparus modelis vis tiek pateikia stabilius rezultatus, pavyzdžiui, atpažįsta vaizdus prastu apšvietimu arba kalbos modelis susidoroja su rašybos klaidomis. Atsparumas vertinamas stresiniais testais, įvairiais mokymo duomenimis ir bandymais apgauti modelį, o ypač svarbus jis saugumui kritinėse srityse.
Modelio dreifas – tai pamažu menkstanti modelio prognozių kokybė naudojimo metu, nes tikrovė keičiasi, palyginti su mokymo duomenimis. Skiriami įvesties duomenų pokyčiai (duomenų dreifas) ir ryšio tarp įvesties ir rezultatų pokyčiai (koncepcijos dreifas). Pavyzdys: sukčiavimo aptikimo modelis nepastebi naujų sukčiavimo schemų. Padeda nuolatinė metrikų stebėsena ir reguliarus permokymas.
Kryžminis patvirtinimas – tai metodas patikrinti, kaip gerai modelis apibendrina naujus, nematytus duomenis. Taikant k dalių kryžminį patvirtinimą, duomenys padalijami į k dalių; modelis k kartų apmokomas su k−1 dalimi ir kaskart išbandomas su likusia dalimi, o paskui rezultatai suvidurkinami. Tai padeda aptikti persimokymą ir sąžiningai palyginti modelius ar nustatymus, ypač kai duomenų nedaug.
DI srityje lyginamasis testavimas (benchmarking) reiškia sistemingą modelių ar sistemų palyginimą naudojant apibrėžtas užduotis ir kriterijus. Vieši lyginamieji testai matuoja, pavyzdžiui, bendrąsias žinias, samprotavimą ar programavimo gebėjimus; tačiau praktiniam naudojimui svarbiausi yra testiniai atvejai iš jūsų kasdienio darbo. Įprasti kriterijai – tikslumas, išsamumas, atsakymo laikas ir kaina. Tai padeda nuspręsti, ar mažesnio, pigesnio modelio užduočiai pakanka.
