A dropout a neurális hálók tanításánál alkalmazott regularizációs technika: minden tanítási lépésben a neuronok egy véletlenszerű hányadát ideiglenesen kikapcsolják. Ez megakadályozza, hogy a háló egyes kapcsolatokra támaszkodjon, így robusztusabb mintázatokat tanul. Csökkenti a túlillesztést, vagyis azt, hogy a háló pusztán megjegyzi a tanítóadatokat. A kész modell későbbi használatakor minden neuron újra aktív.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA túlillesztés (overfitting) akkor lép fel, amikor a modell megjegyzi a tanítóadatokat – a véletlen sajátosságokkal és a zajjal együtt –, ahelyett hogy általánosan érvényes mintákat ragadna meg. Ilyenkor az ismert adatokon nagyon pontosnak tűnik, az új adatokon viszont gyengén teljesít. A tanítási és a tesztelési hiba közötti nagy különbség tipikus jel. Ellenszerek: több vagy változatosabb adat, egyszerűbb modellek, regularizáció, dropout és keresztvalidáció.
A regularizáció olyan technikákat foglal magában, amelyek megakadályozzák, hogy a modell a tanítás során túlságosan szorosan illeszkedjen a tanítóadataihoz (túlillesztés). Ilyen például a nagy súlyok büntetése (L1- vagy L2-regularizáció), a neuronok véletlenszerű kikapcsolása (dropout) vagy a tanítás megfelelő időpontban történő leállítása (early stopping). A cél egy egyszerűbb modell, amely megbízhatóbban teljesít új, ismeretlen adatokon, még ha a tanítóadatokon kissé gyengébb eredményt ér is el.
A mesterséges neurális hálók (ANN-ek) számítási modellek, amelyek sok összekapcsolt egységből („neuronból”) állnak, rétegekbe rendezve, és súlyozott kapcsolatokon keresztül dolgozzák fel a bemeneteket. A tanítás során a súlyokat lépésről lépésre, példák alapján módosítják, általában visszaterjesztéssel (backpropagation). Az ANN-ek a mélytanulás alapját képezik, és a képfelismerés, a beszédfelismerés és a nagy nyelvi modellek mögött állnak. Biológiai ihletésük ellenére sokkal egyszerűbben működnek, mint az emberi agy.
A kötegnormalizálás mély neurális hálózatok tanítására szolgáló technika, amely egy réteg köztes értékeit minden adatköteg esetében egységes átlagra és szórásra skálázza át. Ez stabilabbá és gyakran gyorsabbá teszi a tanítást, és a hálózat kevésbé lesz érzékeny a kezdőértékeire. A 2015-ben bevezetett módszer a képfelismerő hálózatokban elterjedt; a transzformerek általában a rokon rétegnormalizálásra támaszkodnak.
