Dávková normalizácia (batch normalization) je technika trénovania hlbokých neurónových sietí, ktorá medzihodnoty vrstvy pre každú dávku údajov prepočíta na jednotný priemer a rozptyl. Trénovanie je tak stabilnejšie a často rýchlejšie a sieť je menej citlivá na počiatočné hodnoty. Bola predstavená v roku 2015 a je bežná v sieťach na rozpoznávanie obrazu; transformery zvyčajne využívajú príbuznú normalizáciu vrstiev (layer normalization).
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoHlboké učenie je odvetvie strojového učenia, ktoré využíva umelé neurónové siete s mnohými vrstvami. Takéto siete sa z veľkého množstva údajov učia, na ktorých znakoch záleží – od hrán v obrázkoch až po významové súvislosti v textoch. Hlboké učenie je základom dnešných jazykových modelov, rozpoznávania obrazu a reči a strojového prekladu a zvyčajne si vyžaduje značný výpočtový výkon a veľa trénovacích údajov.
Dropout je regularizačná technika používaná pri trénovaní neurónových sietí: v každom tréningovom kroku sa náhodný podiel neurónov dočasne vypne. Tým sa sieť nemôže spoliehať na jednotlivé spojenia, a učí sa preto odolnejšie vzorce. Znižuje preučenie, teda len zapamätanie trénovacích údajov. Keď sa hotový model neskôr používa, všetky neuróny sú opäť aktívne.
Regularizácia zahŕňa techniky, ktoré bránia tomu, aby sa model počas trénovania príliš tesne prispôsobil trénovacím dátam (preučenie). Patrí sem penalizácia veľkých váh (regularizácia L1 alebo L2), náhodné vypínanie neurónov (dropout) alebo zastavenie trénovania v správnom okamihu (early stopping). Cieľom je jednoduchší model, ktorý na nových, nevidených dátach funguje spoľahlivejšie, aj keď na trénovacích dátach dosahuje o niečo nižšie skóre.
Gradientný zostup je optimalizačná metóda, pomocou ktorej sa trénuje väčšina modelov AI. Zmeriate, aká veľká je chyba modelu, vypočítate, akým smerom sa musia parametre zmeniť, aby sa znížila, a urobíte malý krok týmto smerom – znova a znova. Je to ako turista v hmle, ktorý stále kráča z kopca, aby sa dostal do údolia. Veľkosť kroku (rýchlosť učenia) určuje rýchlosť a stabilitu.
