Dávková normalizace (batch normalisation) je technika trénování hlubokých neuronových sítí, která mezivýsledky vrstvy pro každou dávku dat převede na jednotný průměr a rozptyl. Trénování je díky tomu stabilnější a často rychlejší a síť je méně citlivá na počáteční hodnoty. Byla představena v roce 2015 a je běžná v sítích pro rozpoznávání obrazu; transformery obvykle spoléhají na příbuznou normalizaci vrstev (layer normalisation).
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoHluboké učení (deep learning) je odvětví strojového učení, které používá umělé neuronové sítě s mnoha vrstvami. Takové sítě se z velkého množství dat samy učí, na kterých rysech záleží – od hran v obrazech po významové vztahy v textech. Hluboké učení stojí za dnešními jazykovými modely, rozpoznáváním obrazu a řeči i strojovým překladem a obvykle vyžaduje značný výpočetní výkon a množství trénovacích dat.
Dropout je regularizační technika používaná při trénování neuronových sítí: v každém tréninkovém kroku se náhodný podíl neuronů dočasně vypne. Síť se tak nespoléhá na jednotlivá spojení a učí se odolnější vzorce. Snižuje přeučení, tedy pouhé zapamatování trénovacích dat. Při pozdějším použití hotového modelu jsou všechny neurony opět aktivní.
Regularizace zahrnuje techniky, které brání tomu, aby se model při trénování příliš těsně přizpůsobil trénovacím datům (přeučení). Příkladem je penalizace velkých vah (regularizace L1 nebo L2), náhodné vypínání neuronů (dropout) nebo zastavení trénování ve správný okamžik (early stopping). Cílem je jednodušší model, který na nových, dosud neviděných datech funguje spolehlivěji, i když na trénovacích datech dosahuje mírně horšího skóre.
Gradientní sestup je optimalizační metoda, kterou se trénuje většina modelů AI. Změří se, jak velká je chyba modelu, vypočítá se, kterým směrem se musí změnit parametry, aby se snížila, a pak se tímto směrem udělá malý krok – znovu a znovu. Je to jako turista v mlze, který stále jde z kopce, aby došel do údolí. Velikost kroku (learning rate) určuje rychlost a stabilitu.
