Dropout je regularizačná technika používaná pri trénovaní neurónových sietí: v každom tréningovom kroku sa náhodný podiel neurónov dočasne vypne. Tým sa sieť nemôže spoliehať na jednotlivé spojenia, a učí sa preto odolnejšie vzorce. Znižuje preučenie, teda len zapamätanie trénovacích údajov. Keď sa hotový model neskôr používa, všetky neuróny sú opäť aktívne.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoPreučenie (overfitting) nastáva, keď si model zapamätá trénovacie dáta vrátane náhodných zvláštností a šumu, namiesto toho, aby zachytil všeobecne platné vzory. Na známych dátach potom pôsobí veľmi presne, no na nových dátach podáva slabý výkon. Typickým znakom je veľký rozdiel medzi chybou na trénovacích a testovacích dátach. Protiopatrenia zahŕňajú viac či rozmanitejšie dát, jednoduchšie modely, regularizáciu, dropout a krížovú validáciu.
Regularizácia zahŕňa techniky, ktoré bránia tomu, aby sa model počas trénovania príliš tesne prispôsobil trénovacím dátam (preučenie). Patrí sem penalizácia veľkých váh (regularizácia L1 alebo L2), náhodné vypínanie neurónov (dropout) alebo zastavenie trénovania v správnom okamihu (early stopping). Cieľom je jednoduchší model, ktorý na nových, nevidených dátach funguje spoľahlivejšie, aj keď na trénovacích dátach dosahuje o niečo nižšie skóre.
Umelé neurónové siete (ANN, artificial neural networks) sú výpočtové modely zložené z mnohých prepojených jednotiek („neurónov“) usporiadaných do vrstiev, ktoré spracúvajú vstupy cez vážené spojenia. Počas trénovania sa váhy krok za krokom upravujú pomocou príkladov, zvyčajne spätným šírením chyby (backpropagation). ANN sú základom hlbokého učenia a poháňajú rozpoznávanie obrazu, rozpoznávanie reči a veľké jazykové modely. Napriek biologickej inšpirácii fungujú oveľa jednoduchšie než ľudský mozog.
Dávková normalizácia (batch normalization) je technika trénovania hlbokých neurónových sietí, ktorá medzihodnoty vrstvy pre každú dávku údajov prepočíta na jednotný priemer a rozptyl. Trénovanie je tak stabilnejšie a často rýchlejšie a sieť je menej citlivá na počiatočné hodnoty. Bola predstavená v roku 2015 a je bežná v sieťach na rozpoznávanie obrazu; transformery zvyčajne využívajú príbuznú normalizáciu vrstiev (layer normalization).
