Přesnost popisuje, jak často model AI dává správné výsledky; stabilita popisuje, nakolik spolehlivě si tento výkon udrží – při mírně pozměněných vstupech, nových datech nebo v čase. Model může být při testování velmi přesný, a přesto nestabilní, pokud pouhé přeformulování otázky vede k jiné odpovědi. Pro reálné nasazení se obě vlastnosti ověřují pevnými testovacími případy, křížovou validací a průběžným monitorováním.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoRobustnost modelu popisuje, jak spolehlivě AI model funguje, když jsou vstupy zašuměné, neúplné, neobvyklé nebo záměrně zmanipulované. Robustní model stále poskytuje stabilní výsledky, například při rozpoznávání obrazu za špatného osvětlení nebo když jazykový model zvládne překlepy. Robustnost se posuzuje zátěžovými testy, rozmanitými trénovacími daty a testy proti záměrným pokusům o oklamání a je obzvlášť důležitá u aplikací kritických z hlediska bezpečnosti.
Posun modelu je postupný pokles kvality předpovědí modelu za provozu, protože se realita oproti trénovacím datům mění. Rozlišuje se změna vstupních dat (data drift) a změna vztahu mezi vstupy a výsledky (concept drift). Příklad: model pro odhalování podvodů přehlédne nová podvodná schémata. Řešením je průběžné sledování metrik a pravidelné opakované trénování.
Křížová validace je metoda ověření, jak dobře model generalizuje na nová, neviděná data. Při k-násobné křížové validaci se data rozdělí na k částí; model se k-krát trénuje na k−1 částech a pokaždé se testuje na zbývající části, poté se výsledky zprůměrují. Pomáhá to odhalit přeučení a spravedlivě porovnávat modely či nastavení, zejména když je k dispozici málo dat.
V oblasti AI znamená benchmarking systematické porovnávání modelů nebo systémů pomocí definovaných úloh a kritérií. Veřejné benchmarky měří například všeobecné znalosti, schopnost uvažování nebo programování; pro praktické použití jsou však nejdůležitější testovací případy z vaší vlastní každodenní práce. Typickými kritérii jsou přesnost, úplnost, doba odezvy a náklady. Pomáhá to rozhodnout, zda pro daný úkol stačí menší a levnější model.
