Robustnost modelu popisuje, jak spolehlivě AI model funguje, když jsou vstupy zašuměné, neúplné, neobvyklé nebo záměrně zmanipulované. Robustní model stále poskytuje stabilní výsledky, například při rozpoznávání obrazu za špatného osvětlení nebo když jazykový model zvládne překlepy. Robustnost se posuzuje zátěžovými testy, rozmanitými trénovacími daty a testy proti záměrným pokusům o oklamání a je obzvlášť důležitá u aplikací kritických z hlediska bezpečnosti.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoAdversariální strojové učení zkoumá, jak lze AI modely oklamat záměrně zmanipulovanými vstupy nebo trénovacími daty – a jak je chránit. Známými příklady jsou sotva viditelné změny obrázku, které převrátí klasifikaci, nebo otrávená trénovací data. Pro organizace je téma důležité, jakmile AI podporuje rozhodnutí relevantní z hlediska bezpečnosti. K protiopatřením patří robustní trénování, kontroly vstupů, monitoring a pravidelné bezpečnostní testy.
Posun modelu je postupný pokles kvality předpovědí modelu za provozu, protože se realita oproti trénovacím datům mění. Rozlišuje se změna vstupních dat (data drift) a změna vztahu mezi vstupy a výsledky (concept drift). Příklad: model pro odhalování podvodů přehlédne nová podvodná schémata. Řešením je průběžné sledování metrik a pravidelné opakované trénování.
Generalizační chyba měří, jak moc se model AI mýlí na nových, dosud neviděných datech – na rozdíl od chyby na trénovacích datech. Velký rozdíl mezi nimi ukazuje na přeučení: model se naučil příklady zpaměti místo obecných vzorců. Odhaduje se pomocí odložených testovacích dat nebo křížové validace. Je to ukazatel, na kterém skutečně záleží, protože v praxi se model téměř výhradně setkává s novými případy.
K přeučení (overfitting) dochází, když si model zapamatuje trénovací data včetně náhodných zvláštností a šumu, místo aby zachytil obecně platné vzory. Pak působí na známých datech velmi přesně, ale na nových datech si vede špatně. Typickým znakem je velký rozdíl mezi chybou na trénovacích a testovacích datech. Pomáhá více nebo rozmanitější dat, jednodušší modely, regularizace, dropout a křížová validace.
