Robustnosť modelu popisuje, nakoľko spoľahlivo model AI funguje, keď sú vstupy zašumené, neúplné, nezvyčajné alebo zámerne zmanipulované. Robustný model stále dodáva stabilné výsledky, napríklad rozpoznávanie obrazu pri zlom osvetlení alebo jazykový model, ktorý si poradí s preklepmi. Robustnosť sa posudzuje záťažovými testami, rozmanitými trénovacími dátami a testami proti zámerným pokusom o oklamanie, a je mimoriadne dôležitá v aplikáciách kritických pre bezpečnosť.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoAdversariálne strojové učenie skúma, ako možno AI modely zmiasť zámerne zmanipulovanými vstupmi alebo trénovacími údajmi – a ako ich chrániť. Známymi príkladmi sú sotva viditeľné zmeny obrázka, ktoré zvrátia klasifikáciu, alebo otrávené trénovacie údaje. Téma je pre organizácie dôležitá, len čo AI podporuje rozhodnutia relevantné pre bezpečnosť. Protiopatrenia zahŕňajú robustné trénovanie, kontroly vstupov, monitorovanie a pravidelné bezpečnostné testy.
Model drift je postupný pokles kvality predikcií modelu počas prevádzky, pretože sa realita oproti trénovacím dátam mení. Rozlišujeme zmeny vo vstupných dátach (data drift) a zmeny vzťahu medzi vstupmi a výsledkami (concept drift). Príklad: model na odhaľovanie podvodov prehliadne nové podvodné schémy. Nápravou je priebežné monitorovanie metrík a pravidelné pretrénovanie.
Generalizačná chyba meria, nakoľko sa model AI mýli na nových, predtým nevidených údajoch – na rozdiel od jeho chyby na trénovacích údajoch. Veľký rozdiel medzi nimi poukazuje na preučenie: model si zapamätal príklady namiesto toho, aby sa naučil všeobecné vzorce. Odhaduje sa pomocou odložených testovacích údajov alebo krížovej validácie. Je to číslo, na ktorom skutočne záleží, pretože v praxi sa model stretáva takmer len s novými prípadmi.
Preučenie (overfitting) nastáva, keď si model zapamätá trénovacie dáta vrátane náhodných zvláštností a šumu, namiesto toho, aby zachytil všeobecne platné vzory. Na známych dátach potom pôsobí veľmi presne, no na nových dátach podáva slabý výkon. Typickým znakom je veľký rozdiel medzi chybou na trénovacích a testovacích dátach. Protiopatrenia zahŕňajú viac či rozmanitejšie dát, jednoduchšie modely, regularizáciu, dropout a krížovú validáciu.
