Gradientinis nusileidimas yra optimizavimo metodas, naudojamas daugumai DI modelių apmokyti. Išmatuojate modelio klaidos dydį, apskaičiuojate, kuria kryptimi reikia keisti parametrus, kad ji sumažėtų, ir žengiate mažą žingsnį ta kryptimi – vėl ir vėl. Tai kaip rūke einantis keliautojas, kuris vis eina žemyn, kad pasiektų slėnį. Žingsnio dydis (mokymosi sparta) lemia greitį ir stabilumą.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąAtgalinis sklidimas (backpropagation) – standartinis metodas, kuriuo mokosi neuroniniai tinklai. Po kiekvienos prognozės išmatuojama klaida ir ji skleidžiama atgal per tinklo sluoksnius, parodant, kiek kiekvienas svoris prie jos prisidėjo. Tada optimizavimo metodas, pavyzdžiui, gradientinis nusileidimas, žingsnis po žingsnio koreguoja svorius. Be atgalinio sklidimo šiandieninių kalbos ir vaizdų modelių mokymas būtų praktiškai neįmanomas.
Mašininiame mokymesi konvergencija reiškia, kad mokymo procedūra artėja prie stabilios būsenos: nuostolis beveik nebemažėja, o modelio parametrai keičiasi tik minimaliai. Ar ir kaip greitai modelis konverguoja, priklauso nuo tokių veiksnių kaip mokymosi sparta, duomenų kokybė ir modelio architektūra. Jei mokymosi sparta per didelė, nuostolis šokinėja; jei per maža, mokymas trunka be reikalo ilgai. Konvergencija negarantuoja gero modelio, nes jis vis tiek gali būti persimokęs.
Kryžminė entropija – tai informacijos teorijos matas, rodantis, kiek prognozuojamas tikimybių skirstinys nukrypsta nuo tikrojo. Mašininiame mokymesi tai dažniausia nuostolio funkcija klasifikavimo užduotims ir kalbos modeliams, nuspėjantiems kitą tokeną. Ji ypač stipriai baudžia už užtikrintas klaidingas prognozes: 99 % priskyrimas netinkamai klasei duoda daug didesnį nuostolį nei 60 % priskyrimas.
Hiperparametrai yra nustatymai, parenkami prieš apmokant modelį, pavyzdžiui, mokymosi sparta, sluoksnių skaičius ar reguliarizavimo stiprumas. Hiperparametrų optimizavimas sistemingai ieško derinio, kuris geriausiai veikia su validavimo duomenimis, pavyzdžiui, tinklelio paieška, atsitiktine paieška ar Bajeso optimizavimu. Gerai parinktos reikšmės pagerina tikslumą ir sumažina per didelį ar per mažą pritaikymą, tačiau paieška kainuoja skaičiavimo laiko.
