Atgalinis sklidimas (backpropagation) – standartinis metodas, kuriuo mokosi neuroniniai tinklai. Po kiekvienos prognozės išmatuojama klaida ir ji skleidžiama atgal per tinklo sluoksnius, parodant, kiek kiekvienas svoris prie jos prisidėjo. Tada optimizavimo metodas, pavyzdžiui, gradientinis nusileidimas, žingsnis po žingsnio koreguoja svorius. Be atgalinio sklidimo šiandieninių kalbos ir vaizdų modelių mokymas būtų praktiškai neįmanomas.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąGradientinis nusileidimas yra optimizavimo metodas, naudojamas daugumai DI modelių apmokyti. Išmatuojate modelio klaidos dydį, apskaičiuojate, kuria kryptimi reikia keisti parametrus, kad ji sumažėtų, ir žengiate mažą žingsnį ta kryptimi – vėl ir vėl. Tai kaip rūke einantis keliautojas, kuris vis eina žemyn, kad pasiektų slėnį. Žingsnio dydis (mokymosi sparta) lemia greitį ir stabilumą.
Dirbtiniai neuroniniai tinklai (DNT) – tai skaičiavimo modeliai, sudaryti iš daugelio sujungtų sluoksniais išdėstytų vienetų („neuronų“), kurie apdoroja įvestį per svertinius ryšius. Mokymo metu svoriai žingsnis po žingsnio koreguojami pagal pavyzdžius, dažniausiai atgalinio sklidimo metodu. DNT yra giluminio mokymosi pagrindas ir veikia vaizdų atpažinimą, kalbos atpažinimą bei didelius kalbos modelius. Nepaisant biologinės įkvėpties, jie veikia daug paprasčiau nei žmogaus smegenys.
Aktyvacijos funkcijos nustato, kaip stipriai dirbtinio neuroninio tinklo neuronas perduoda savo signalą. Jos įveda netiesiškumą – tik tada tinklas gali atvaizduoti sudėtingus ryšius, pavyzdžiui, kalbą ar vaizdus. Įprasti pavyzdžiai – ReLU, kuri neigiamas reikšmes paverčia nuliu, sigmoidė tikimybėms nuo 0 iki 1 ir GELU, naudojama daugelyje transformerių modelių. Pasirinkimas turi įtakos mokymo greičiui ir stabilumui.
Kryžminė entropija – tai informacijos teorijos matas, rodantis, kiek prognozuojamas tikimybių skirstinys nukrypsta nuo tikrojo. Mašininiame mokymesi tai dažniausia nuostolio funkcija klasifikavimo užduotims ir kalbos modeliams, nuspėjantiems kitą tokeną. Ji ypač stipriai baudžia už užtikrintas klaidingas prognozes: 99 % priskyrimas netinkamai klasei duoda daug didesnį nuostolį nei 60 % priskyrimas.
