Generalizační chyba měří, jak moc se model AI mýlí na nových, dosud neviděných datech – na rozdíl od chyby na trénovacích datech. Velký rozdíl mezi nimi ukazuje na přeučení: model se naučil příklady zpaměti místo obecných vzorců. Odhaduje se pomocí odložených testovacích dat nebo křížové validace. Je to ukazatel, na kterém skutečně záleží, protože v praxi se model téměř výhradně setkává s novými případy.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoK přeučení (overfitting) dochází, když si model zapamatuje trénovací data včetně náhodných zvláštností a šumu, místo aby zachytil obecně platné vzory. Pak působí na známých datech velmi přesně, ale na nových datech si vede špatně. Typickým znakem je velký rozdíl mezi chybou na trénovacích a testovacích datech. Pomáhá více nebo rozmanitější dat, jednodušší modely, regularizace, dropout a křížová validace.
O nedostatečné přizpůsobení (underfitting) jde tehdy, když je model příliš jednoduchý na to, aby zachytil vztahy v datech. Dělá pak mnoho chyb jak na trénovacích datech, tak na nových datech, například když se k zobrazení výrazně zakřiveného vzoru použije přímka. Řešením je výkonnější model, informativnější příznaky, delší trénování nebo slabší regularizace; opačným problémem je přeučení.
Chyba na trénovacích datech udává, o kolik se předpovědi modelu odchylují od správných hodnot přesně u dat, na nichž byl trénován. Sama o sobě říká málo: důležité je porovnání s generalizační chybou na nových datech. Vysoká chyba na trénovacích datech ukazuje na nedostatečné přizpůsobení (underfitting); velmi nízká chyba na trénovacích datech spojená s vysokou chybou na testovacích datech obvykle signalizuje přeučení.
Křížová validace je metoda ověření, jak dobře model generalizuje na nová, neviděná data. Při k-násobné křížové validaci se data rozdělí na k částí; model se k-krát trénuje na k−1 částech a pokaždé se testuje na zbývající části, poté se výsledky zprůměrují. Pomáhá to odhalit přeučení a spravedlivě porovnávat modely či nastavení, zejména když je k dispozici málo dat.
