Model drift je postupný pokles kvality predikcií modelu počas prevádzky, pretože sa realita oproti trénovacím dátam mení. Rozlišujeme zmeny vo vstupných dátach (data drift) a zmeny vzťahu medzi vstupmi a výsledkami (concept drift). Príklad: model na odhaľovanie podvodov prehliadne nové podvodné schémy. Nápravou je priebežné monitorovanie metrík a pravidelné pretrénovanie.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoRobustnosť modelu popisuje, nakoľko spoľahlivo model AI funguje, keď sú vstupy zašumené, neúplné, nezvyčajné alebo zámerne zmanipulované. Robustný model stále dodáva stabilné výsledky, napríklad rozpoznávanie obrazu pri zlom osvetlení alebo jazykový model, ktorý si poradí s preklepmi. Robustnosť sa posudzuje záťažovými testami, rozmanitými trénovacími dátami a testami proti zámerným pokusom o oklamanie, a je mimoriadne dôležitá v aplikáciách kritických pre bezpečnosť.
Trénovacie dáta sú príklady, z ktorých sa model AI učí vzory: rozsiahle zbierky textov pre jazykové modely, označené obrázky pre obrazové modely. Ich kvalita, rozmanitosť a aktuálnosť vo veľkej miere určujú, nakoľko je model spoľahlivý a férový a nakoľko aktuálne budú jeho znalosti. Pre organizácie je dôležité aj to, či poskytovateľ používa zadané zákaznícke dáta na ďalšie trénovanie.
MLflow je open-source platforma na správu celého životného cyklu modelov strojového učenia, ktorú pôvodne v roku 2018 predstavila spoločnosť Databricks. Zaznamenáva experimenty s ich parametrami a metrikami, spravuje verzie modelov v registri a zjednodušuje nasadenie. Novšie verzie podporujú aj sledovanie a vyhodnocovanie aplikácií postavených na jazykových modeloch. Tímy tak vedia dohľadať, ktorý model vznikol s akými dátami a nastaveniami.
Presnosť opisuje, ako často model AI vytvára správne výsledky; stabilita opisuje, nakoľko spoľahlivo si tento výkon udrží – pri mierne zmenených vstupoch, nových údajoch alebo v čase. Model môže byť pri testovaní veľmi presný, no nestabilný, ak už samotné preformulovanie otázky vedie k inej odpovedi. Pre reálne nasadenie sa obe vlastnosti overujú pevnými testovacími prípadmi, krížovou validáciou a priebežným monitorovaním.
