Posun modelu je postupný pokles kvality předpovědí modelu za provozu, protože se realita oproti trénovacím datům mění. Rozlišuje se změna vstupních dat (data drift) a změna vztahu mezi vstupy a výsledky (concept drift). Příklad: model pro odhalování podvodů přehlédne nová podvodná schémata. Řešením je průběžné sledování metrik a pravidelné opakované trénování.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoRobustnost modelu popisuje, jak spolehlivě AI model funguje, když jsou vstupy zašuměné, neúplné, neobvyklé nebo záměrně zmanipulované. Robustní model stále poskytuje stabilní výsledky, například při rozpoznávání obrazu za špatného osvětlení nebo když jazykový model zvládne překlepy. Robustnost se posuzuje zátěžovými testy, rozmanitými trénovacími daty a testy proti záměrným pokusům o oklamání a je obzvlášť důležitá u aplikací kritických z hlediska bezpečnosti.
Trénovací data jsou příklady, z nichž se AI model učí vzory: rozsáhlé sbírky textů pro jazykové modely, označené obrázky pro obrazové modely. Jejich kvalita, rozmanitost a aktuálnost do značné míry určují, jak spolehlivý a spravedlivý model je a jak aktuální budou jeho znalosti. Pro organizace je také důležité, zda poskytovatel používá k dalšímu trénování zákaznická data, která do systému zadají.
MLflow je open-source platforma pro správu celého životního cyklu modelů strojového učení, kterou původně v roce 2018 představila společnost Databricks. Zaznamenává experimenty včetně jejich parametrů a metrik, spravuje verze modelů v registru a usnadňuje nasazení. Novější verze podporují také trasování a vyhodnocování aplikací postavených na jazykových modelech. Týmy tak mohou dohledat, který model vznikl s jakými daty a nastaveními.
Přesnost popisuje, jak často model AI dává správné výsledky; stabilita popisuje, nakolik spolehlivě si tento výkon udrží – při mírně pozměněných vstupech, nových datech nebo v čase. Model může být při testování velmi přesný, a přesto nestabilní, pokud pouhé přeformulování otázky vede k jiné odpovědi. Pro reálné nasazení se obě vlastnosti ověřují pevnými testovacími případy, křížovou validací a průběžným monitorováním.
