Id-dropout hija teknika ta' regolarizzazzjoni użata fit-taħriġ ta' netwerks newrali: f'kull pass tat-taħriġ sehem każwali ta' newroni jintfew temporanjament. Dan iżomm lin-netwerk milli jiddependi minn konnessjonijiet individwali, u b'hekk jitgħallem mudelli aktar robusti. Inaqqas l-overfitting, jiġifieri li sempliċement jitfakkar id-data tat-taħriġ. Meta l-mudell lest jintuża aktar tard, in-newroni kollha jerġgħu jkunu attivi.
Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.
Ibda d-demoL-overfitting iseħħ meta mudell jimmemorizza d-data tat-taħriġ, inklużi l-partikolaritajiet każwali u l-istorbju, minflok ma jaqbad mudelli validi b'mod ġenerali. Imbagħad jidher eżatt ħafna fuq data familjari iżda jaħdem ħażin fuq data ġdida. Differenza kbira bejn l-iżball tat-taħriġ u dak tat-test hija sinjal tipiku. Il-kontromiżuri jinkludu aktar data jew data aktar varjata, mudelli aktar sempliċi, regolarizzazzjoni, dropout u validazzjoni inkrokjata.
Ir-regolarizzazzjoni tkopri tekniki li jwaqqfu mudell milli jadatta wisq mill-qrib għad-data tat-taħriġ tiegħu waqt it-taħriġ (overfitting). L-eżempji jinkludu penali fuq piżijiet kbar (regolarizzazzjoni L1 jew L2), tfi każwali ta' newroni (dropout) jew twaqqif tat-taħriġ fil-mument it-tajjeb (early stopping). L-għan huwa mudell aktar sempliċi li jaħdem b'mod aktar affidabbli fuq data ġdida li ma ratx qabel, anki jekk jikseb punteġġ kemmxejn inqas fuq id-data tat-taħriġ.
In-netwerks newrali artifiċjali (ANNs) huma mudelli komputazzjonali magħmula minn ħafna unitajiet konnessi (“newroni”) irranġati f'saffi li jipproċessaw inputs permezz ta' konnessjonijiet ippiżati. Matul it-taħriġ, il-piżijiet jiġu aġġustati pass pass bl-użu ta' eżempji, ġeneralment permezz ta' backpropagation. L-ANNs huma l-pedament tat-tagħlim profond u jħaddmu r-rikonoxximent tal-immaġini, ir-rikonoxximent tad-diskors u mudelli lingwistiċi kbar. Minkejja l-ispirazzjoni bijoloġika tagħhom, jaħdmu b'mod ferm aktar sempliċi mill-moħħ tal-bniedem.
In-normalizzazzjoni tal-lott hija teknika għat-taħriġ ta' netwerks newrali profondi li terġa' tiskala l-valuri intermedji ta' saff għal kull lott ta' data għal medja u firxa konsistenti. Dan jagħmel it-taħriġ aktar stabbli u ta' spiss aktar mgħaġġel, u n-netwerk isir inqas sensittiv għall-valuri inizjali tiegħu. Introdotta fl-2015, hija komuni fin-netwerks tar-rikonoxximent tal-immaġini; it-transformers normalment jistrieħu fuq in-normalizzazzjoni tas-saff, li hija relatata.
