Modelio dreifas – tai pamažu menkstanti modelio prognozių kokybė naudojimo metu, nes tikrovė keičiasi, palyginti su mokymo duomenimis. Skiriami įvesties duomenų pokyčiai (duomenų dreifas) ir ryšio tarp įvesties ir rezultatų pokyčiai (koncepcijos dreifas). Pavyzdys: sukčiavimo aptikimo modelis nepastebi naujų sukčiavimo schemų. Padeda nuolatinė metrikų stebėsena ir reguliarus permokymas.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąModelio atsparumas apibūdina, kaip patikimai DI modelis veikia, kai įvestis yra triukšminga, neišsami, neįprasta ar tyčia manipuliuojama. Atsparus modelis vis tiek pateikia stabilius rezultatus, pavyzdžiui, atpažįsta vaizdus prastu apšvietimu arba kalbos modelis susidoroja su rašybos klaidomis. Atsparumas vertinamas stresiniais testais, įvairiais mokymo duomenimis ir bandymais apgauti modelį, o ypač svarbus jis saugumui kritinėse srityse.
Mokymo duomenys – pavyzdžiai, iš kurių DI modelis mokosi dėsningumų: dideli tekstų rinkiniai kalbos modeliams, pažymėti vaizdai vaizdų modeliams. Jų kokybė, įvairovė ir naujumas daugiausia lemia, kaip patikimas ir teisingas bus modelis ir kokios šviežios bus jo žinios. Organizacijoms taip pat svarbu, ar tiekėjas jų įvestus klientų duomenis naudoja tolesniam mokymui.
MLflow – atvirojo kodo platforma, skirta valdyti visą mašininio mokymosi modelių gyvavimo ciklą; ją 2018 m. pirmą kartą pristatė Databricks. Ji registruoja eksperimentus su jų parametrais ir metrikomis, valdo modelių versijas registre ir supaprastina diegimą. Naujesnės versijos taip pat palaiko kalbos modeliais pagrįstų programų sekimą ir vertinimą. Todėl komandos gali atsekti, koks modelis buvo sukurtas su kokiais duomenimis ir nustatymais.
Tikslumas apibūdina, kaip dažnai DI modelis pateikia teisingus rezultatus; stabilumas – kaip patikimai ši kokybė išlieka – esant šiek tiek pakeistiems įvesties duomenims, naujiems duomenims ar laikui bėgant. Modelis gali būti labai tikslus per testus, bet nestabilus, jei vien perfrazavus klausimą pateikiamas kitas atsakymas. Realiam naudojimui abi savybės tikrinamos pastoviais testiniais atvejais, kryžminiu patvirtinimu ir nuolatine stebėsena.
