Il-backpropagation hija l-metodu standard li bih in-netwerks newrali jitgħallmu. Wara kull tbassir, l-iżball jitkejjel u jiġi propagat lura minn ġos-saffi tan-netwerk, u juri kemm kull piż ikkontribwixxa għalih. Imbagħad metodu ta' ottimizzazzjoni bħad-dixxendenza tal-gradjent jaġġusta l-piżijiet pass pass. Mingħajr il-backpropagation, it-taħriġ tal-mudelli tal-lingwa u tal-immaġini tal-lum ikun prattikament impossibbli.
Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.
Ibda d-demoIl-gradient descent huwa l-metodu ta' ottimizzazzjoni użat biex jitħarrġu ħafna mudelli tal-IA. Tkejjel kemm hu kbir l-iżball tal-mudell, tikkalkula f'liema direzzjoni jridu jinbidlu l-parametri biex jitnaqqas, u mbagħad tieħu pass żgħir f'dik id-direzzjoni – għal darb'oħra u darb'oħra. Huwa bħal min jimxi fuq il-muntanji fid-dbiel u jibqa' jinżel 'l isfel biex jasal fil-wied. Id-daqs tal-pass (rata tat-tagħlim) jiddetermina l-veloċità u l-istabbiltà.
In-netwerks newrali artifiċjali (ANNs) huma mudelli komputazzjonali magħmula minn ħafna unitajiet konnessi (“newroni”) irranġati f'saffi li jipproċessaw inputs permezz ta' konnessjonijiet ippiżati. Matul it-taħriġ, il-piżijiet jiġu aġġustati pass pass bl-użu ta' eżempji, ġeneralment permezz ta' backpropagation. L-ANNs huma l-pedament tat-tagħlim profond u jħaddmu r-rikonoxximent tal-immaġini, ir-rikonoxximent tad-diskors u mudelli lingwistiċi kbar. Minkejja l-ispirazzjoni bijoloġika tagħhom, jaħdmu b'mod ferm aktar sempliċi mill-moħħ tal-bniedem.
Il-funzjonijiet ta' attivazzjoni jiddeterminaw kemm b'saħħtu newron f'netwerk newrali artifiċjali jgħaddi s-sinjal tiegħu. Jintroduċu n-nonlinearità – huwa biss hekk li n-netwerk jista' jirrappreżenta relazzjonijiet kumplessi bħal-lingwa jew l-immaġini. Eżempji komuni huma ReLU, li jissettja l-valuri negattivi għal żero, sigmoid għall-probabbiltajiet bejn 0 u 1, u GELU, użat f'ħafna mudelli transformer. L-għażla taffettwa l-veloċità u l-istabbiltà tat-taħriġ.
Il-cross-entropy hija miżura mit-teorija tal-informazzjoni li tindika kemm distribuzzjoni tal-probabbiltà mbassra tiddevja minn dik attwali. Fit-tagħlim awtomatiku, hija l-aktar funzjoni tat-telf komuni għal kompiti ta' klassifikazzjoni u wkoll għal mudelli lingwistiċi li jbassru t-token li jmiss. Tikkastiga b'mod partikolarment qawwi tbassir żbaljat iżda kunfidenti: li tassenja 99% lill-klassi żbaljata jagħti telf ferm ogħla milli li tassenja 60%.
