Dropout je regularizační technika používaná při trénování neuronových sítí: v každém tréninkovém kroku se náhodný podíl neuronů dočasně vypne. Síť se tak nespoléhá na jednotlivá spojení a učí se odolnější vzorce. Snižuje přeučení, tedy pouhé zapamatování trénovacích dat. Při pozdějším použití hotového modelu jsou všechny neurony opět aktivní.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoK přeučení (overfitting) dochází, když si model zapamatuje trénovací data včetně náhodných zvláštností a šumu, místo aby zachytil obecně platné vzory. Pak působí na známých datech velmi přesně, ale na nových datech si vede špatně. Typickým znakem je velký rozdíl mezi chybou na trénovacích a testovacích datech. Pomáhá více nebo rozmanitější dat, jednodušší modely, regularizace, dropout a křížová validace.
Regularizace zahrnuje techniky, které brání tomu, aby se model při trénování příliš těsně přizpůsobil trénovacím datům (přeučení). Příkladem je penalizace velkých vah (regularizace L1 nebo L2), náhodné vypínání neuronů (dropout) nebo zastavení trénování ve správný okamžik (early stopping). Cílem je jednodušší model, který na nových, dosud neviděných datech funguje spolehlivěji, i když na trénovacích datech dosahuje mírně horšího skóre.
Umělé neuronové sítě (ANN) jsou výpočetní modely složené z mnoha propojených jednotek („neuronů“) uspořádaných do vrstev, které zpracovávají vstupy prostřednictvím vážených spojení. Při trénování se váhy krok za krokem upravují na příkladech, obvykle zpětným šířením chyby (backpropagation). ANN jsou základem hlubokého učení a pohánějí rozpoznávání obrazu, rozpoznávání řeči a velké jazykové modely. Navzdory biologické inspiraci fungují mnohem jednodušeji než lidský mozek.
Dávková normalizace (batch normalisation) je technika trénování hlubokých neuronových sítí, která mezivýsledky vrstvy pro každou dávku dat převede na jednotný průměr a rozptyl. Trénování je díky tomu stabilnější a často rychlejší a síť je méně citlivá na počáteční hodnoty. Byla představena v roce 2015 a je běžná v sítích pro rozpoznávání obrazu; transformery obvykle spoléhají na příbuznou normalizaci vrstev (layer normalisation).
