Paketinis normalizavimas – giliųjų neuroninių tinklų mokymo technika, kuri kiekvienam duomenų paketui perskaičiuoja sluoksnio tarpines reikšmes į vienodą vidurkį ir sklaidą. Tai daro mokymą stabilesnį ir dažnai greitesnį, o tinklas tampa mažiau jautrus pradinėms reikšmėms. 2015 m. pristatyta technika paplitusi vaizdų atpažinimo tinkluose; transformeriai paprastai remiasi giminingu sluoksnio normalizavimu.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąGiluminis mokymasis yra mašininio mokymosi šaka, naudojanti dirbtinius neuroninius tinklus su daugybe sluoksnių. Tokie tinklai iš didelių duomenų kiekių mokosi, kurie požymiai svarbūs – nuo vaizdų kontūrų iki prasminių ryšių tekstuose. Giluminis mokymasis yra šiandienos kalbos modelių, vaizdų ir kalbos atpažinimo bei mašininio vertimo pagrindas, ir paprastai reikalauja daug skaičiavimo galios bei mokymo duomenų.
„Dropout“ yra reguliarizavimo technika, naudojama mokant neuroninius tinklus: kiekviename mokymo žingsnyje atsitiktinė dalis neuronų laikinai išjungiama. Tai neleidžia tinklui pasikliauti pavieniais ryšiais, todėl jis išmoksta atsparesnius dėsningumus. Tai mažina persimokymą, t. y. vien mokymo duomenų įsiminimą. Vėliau naudojant parengtą modelį visi neuronai vėl aktyvūs.
Reguliarizavimas apima metodus, kurie mokymo metu neleidžia modeliui per tiksliai prisitaikyti prie mokymo duomenų (persimokymas). Pavyzdžiai: didelių svorių baudimas (L1 arba L2 reguliarizavimas), atsitiktinis neuronų išjungimas (dropout) arba mokymo sustabdymas tinkamu momentu (early stopping). Tikslas – paprastesnis modelis, patikimiau veikiantis su naujais, nematytais duomenimis, net jei mokymo duomenyse jo rezultatas šiek tiek prastesnis.
Gradientinis nusileidimas yra optimizavimo metodas, naudojamas daugumai DI modelių apmokyti. Išmatuojate modelio klaidos dydį, apskaičiuojate, kuria kryptimi reikia keisti parametrus, kad ji sumažėtų, ir žengiate mažą žingsnį ta kryptimi – vėl ir vėl. Tai kaip rūke einantis keliautojas, kuris vis eina žemyn, kad pasiektų slėnį. Žingsnio dydis (mokymosi sparta) lemia greitį ir stabilumą.
