„Dropout“ yra reguliarizavimo technika, naudojama mokant neuroninius tinklus: kiekviename mokymo žingsnyje atsitiktinė dalis neuronų laikinai išjungiama. Tai neleidžia tinklui pasikliauti pavieniais ryšiais, todėl jis išmoksta atsparesnius dėsningumus. Tai mažina persimokymą, t. y. vien mokymo duomenų įsiminimą. Vėliau naudojant parengtą modelį visi neuronai vėl aktyvūs.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąPersimokymas atsiranda, kai modelis įsimena mokymo duomenis, įskaitant atsitiktinius ypatumus ir triukšmą, užuot išmokęs visuotinai galiojančių dėsningumų. Tada jis atrodo labai tikslus su pažįstamais duomenimis, bet prastai veikia su naujais. Tipiškas požymis – didelis atotrūkis tarp mokymo ir testavimo paklaidos. Priemonės: daugiau ar įvairesnių duomenų, paprastesni modeliai, reguliarizavimas, dropout ir kryžminis patikrinimas.
Reguliarizavimas apima metodus, kurie mokymo metu neleidžia modeliui per tiksliai prisitaikyti prie mokymo duomenų (persimokymas). Pavyzdžiai: didelių svorių baudimas (L1 arba L2 reguliarizavimas), atsitiktinis neuronų išjungimas (dropout) arba mokymo sustabdymas tinkamu momentu (early stopping). Tikslas – paprastesnis modelis, patikimiau veikiantis su naujais, nematytais duomenimis, net jei mokymo duomenyse jo rezultatas šiek tiek prastesnis.
Dirbtiniai neuroniniai tinklai (DNT) – tai skaičiavimo modeliai, sudaryti iš daugelio sujungtų sluoksniais išdėstytų vienetų („neuronų“), kurie apdoroja įvestį per svertinius ryšius. Mokymo metu svoriai žingsnis po žingsnio koreguojami pagal pavyzdžius, dažniausiai atgalinio sklidimo metodu. DNT yra giluminio mokymosi pagrindas ir veikia vaizdų atpažinimą, kalbos atpažinimą bei didelius kalbos modelius. Nepaisant biologinės įkvėpties, jie veikia daug paprasčiau nei žmogaus smegenys.
Paketinis normalizavimas – giliųjų neuroninių tinklų mokymo technika, kuri kiekvienam duomenų paketui perskaičiuoja sluoksnio tarpines reikšmes į vienodą vidurkį ir sklaidą. Tai daro mokymą stabilesnį ir dažnai greitesnį, o tinklas tampa mažiau jautrus pradinėms reikšmėms. 2015 m. pristatyta technika paplitusi vaizdų atpažinimo tinkluose; transformeriai paprastai remiasi giminingu sluoksnio normalizavimu.
