Il-gradient descent huwa l-metodu ta' ottimizzazzjoni użat biex jitħarrġu ħafna mudelli tal-IA. Tkejjel kemm hu kbir l-iżball tal-mudell, tikkalkula f'liema direzzjoni jridu jinbidlu l-parametri biex jitnaqqas, u mbagħad tieħu pass żgħir f'dik id-direzzjoni – għal darb'oħra u darb'oħra. Huwa bħal min jimxi fuq il-muntanji fid-dbiel u jibqa' jinżel 'l isfel biex jasal fil-wied. Id-daqs tal-pass (rata tat-tagħlim) jiddetermina l-veloċità u l-istabbiltà.
Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.
Ibda d-demoIl-backpropagation hija l-metodu standard li bih in-netwerks newrali jitgħallmu. Wara kull tbassir, l-iżball jitkejjel u jiġi propagat lura minn ġos-saffi tan-netwerk, u juri kemm kull piż ikkontribwixxa għalih. Imbagħad metodu ta' ottimizzazzjoni bħad-dixxendenza tal-gradjent jaġġusta l-piżijiet pass pass. Mingħajr il-backpropagation, it-taħriġ tal-mudelli tal-lingwa u tal-immaġini tal-lum ikun prattikament impossibbli.
Fit-tagħlim awtomatiku, il-konverġenza tfisser li proċedura ta' taħriġ toqrob lejn stat stabbli: it-telf kważi ma jonqosx aktar u l-parametri tal-mudell jinbidlu b'mod minimu biss. Jekk mudell jikkonverġix u kemm malajr jiddependi minn fatturi bħar-rata tat-tagħlim, il-kwalità tad-data u l-arkitettura tal-mudell. Jekk ir-rata tat-tagħlim hija għolja wisq, it-telf jaqbeż minn naħa għal oħra; jekk hija baxxa wisq, it-taħriġ idum bla bżonn. Il-konverġenza ma tiggarantixxix mudell tajjeb, peress li xorta jista' jkun overfitted.
Il-cross-entropy hija miżura mit-teorija tal-informazzjoni li tindika kemm distribuzzjoni tal-probabbiltà mbassra tiddevja minn dik attwali. Fit-tagħlim awtomatiku, hija l-aktar funzjoni tat-telf komuni għal kompiti ta' klassifikazzjoni u wkoll għal mudelli lingwistiċi li jbassru t-token li jmiss. Tikkastiga b'mod partikolarment qawwi tbassir żbaljat iżda kunfidenti: li tassenja 99% lill-klassi żbaljata jagħti telf ferm ogħla milli li tassenja 60%.
L-ipperparametri huma settings stabbiliti qabel ma jitħarreġ mudell, bħar-rata tat-tagħlim, in-numru ta' saffi jew is-saħħa tar-regolarizzazzjoni. L-ottimizzazzjoni tal-ipperparametri tfittex sistematikament il-kombinazzjoni li tagħti l-aħjar prestazzjoni fuq data ta' validazzjoni, pereżempju permezz ta' grid search, random search jew ottimizzazzjoni Bayesjana. Valuri magħżula tajjeb itejbu l-eżattezza u jnaqqsu l-over- jew l-underfitting, iżda t-tiftix jiswa ħin tal-komputazzjoni.
