Regularizace zahrnuje techniky, které brání tomu, aby se model při trénování příliš těsně přizpůsobil trénovacím datům (přeučení). Příkladem je penalizace velkých vah (regularizace L1 nebo L2), náhodné vypínání neuronů (dropout) nebo zastavení trénování ve správný okamžik (early stopping). Cílem je jednodušší model, který na nových, dosud neviděných datech funguje spolehlivěji, i když na trénovacích datech dosahuje mírně horšího skóre.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoK přeučení (overfitting) dochází, když si model zapamatuje trénovací data včetně náhodných zvláštností a šumu, místo aby zachytil obecně platné vzory. Pak působí na známých datech velmi přesně, ale na nových datech si vede špatně. Typickým znakem je velký rozdíl mezi chybou na trénovacích a testovacích datech. Pomáhá více nebo rozmanitější dat, jednodušší modely, regularizace, dropout a křížová validace.
Dropout je regularizační technika používaná při trénování neuronových sítí: v každém tréninkovém kroku se náhodný podíl neuronů dočasně vypne. Síť se tak nespoléhá na jednotlivá spojení a učí se odolnější vzorce. Snižuje přeučení, tedy pouhé zapamatování trénovacích dat. Při pozdějším použití hotového modelu jsou všechny neurony opět aktivní.
Generalizační chyba měří, jak moc se model AI mýlí na nových, dosud neviděných datech – na rozdíl od chyby na trénovacích datech. Velký rozdíl mezi nimi ukazuje na přeučení: model se naučil příklady zpaměti místo obecných vzorců. Odhaduje se pomocí odložených testovacích dat nebo křížové validace. Je to ukazatel, na kterém skutečně záleží, protože v praxi se model téměř výhradně setkává s novými případy.
O nedostatečné přizpůsobení (underfitting) jde tehdy, když je model příliš jednoduchý na to, aby zachytil vztahy v datech. Dělá pak mnoho chyb jak na trénovacích datech, tak na nových datech, například když se k zobrazení výrazně zakřiveného vzoru použije přímka. Řešením je výkonnější model, informativnější příznaky, delší trénování nebo slabší regularizace; opačným problémem je přeučení.
