Presnosť opisuje, ako často model AI vytvára správne výsledky; stabilita opisuje, nakoľko spoľahlivo si tento výkon udrží – pri mierne zmenených vstupoch, nových údajoch alebo v čase. Model môže byť pri testovaní veľmi presný, no nestabilný, ak už samotné preformulovanie otázky vedie k inej odpovedi. Pre reálne nasadenie sa obe vlastnosti overujú pevnými testovacími prípadmi, krížovou validáciou a priebežným monitorovaním.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoRobustnosť modelu popisuje, nakoľko spoľahlivo model AI funguje, keď sú vstupy zašumené, neúplné, nezvyčajné alebo zámerne zmanipulované. Robustný model stále dodáva stabilné výsledky, napríklad rozpoznávanie obrazu pri zlom osvetlení alebo jazykový model, ktorý si poradí s preklepmi. Robustnosť sa posudzuje záťažovými testami, rozmanitými trénovacími dátami a testami proti zámerným pokusom o oklamanie, a je mimoriadne dôležitá v aplikáciách kritických pre bezpečnosť.
Model drift je postupný pokles kvality predikcií modelu počas prevádzky, pretože sa realita oproti trénovacím dátam mení. Rozlišujeme zmeny vo vstupných dátach (data drift) a zmeny vzťahu medzi vstupmi a výsledkami (concept drift). Príklad: model na odhaľovanie podvodov prehliadne nové podvodné schémy. Nápravou je priebežné monitorovanie metrík a pravidelné pretrénovanie.
Krížová validácia je metóda na kontrolu, nakoľko dobre model zovšeobecňuje na nové, nevidené údaje. Pri k-násobnej krížovej validácii sa údaje rozdelia na k častí; model sa k-krát trénuje na k−1 častiach a vždy sa testuje na zvyšnej časti, potom sa výsledky spriemerujú. Pomáha to odhaliť preučenie a spravodlivo porovnať modely alebo nastavenia, najmä keď je k dispozícii málo údajov.
Benchmarking v oblasti AI znamená systematické porovnávanie modelov alebo systémov pomocou definovaných úloh a kritérií. Verejné benchmarky merajú napríklad všeobecné znalosti, uvažovanie alebo schopnosť programovať; pre praktické použitie sú však najdôležitejšie testovacie prípady z vlastnej každodennej práce. Typickými kritériami sú správnosť, úplnosť, čas odozvy a náklady. Pomáha to rozhodnúť, či na úlohu stačí menší a lacnejší model.
