Rekurentinis neuroninis tinklas apdoroja duomenis iš eilės ir perduoda vidinę būseną iš kiekvieno žingsnio į kitą – tarsi trumpalaikę atmintį. Dėl to jis tinka sekoms, tokioms kaip tekstas, kalba ar laiko eilutės, pavyzdžiui, kitam žodžiui ar kitam jutiklio rodmeniui prognozuoti. Paprasti RNN lengvai pamiršta informaciją iš toli; variantai, tokie kaip LSTM ir GRU, šią problemą sušvelnina. Kalbos modeliuose RNN daugiausia išstūmė transformeriai.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąIlgoji trumpalaikė atmintis (LSTM, angl. long short-term memory) – tai rekurentinio neuroninio tinklo tipas, galintis išlaikyti informaciją per ilgas sekas. Vadinamieji vartai kiekviename žingsnyje nusprendžia, ką išsaugoti, pamiršti ar išvesti, o tai sušvelnina nykstančio gradiento problemą. Daugelį metų LSTM formavo kalbos atpažinimą, vertimą ir laiko eilučių prognozavimą. Kalbos apdorojime juos daugiausia pakeitė transformeriai, tačiau jutiklių duomenims jie išlieka įprasti.
Dvikryptis LSTM (BiLSTM) – rekurentinis neuroninis tinklas, kuris seką skaito ir pirmyn, ir atgal bei sujungia abu požiūrius. Tai reiškia, kad atsižvelgiama ir į po kiekvieno žodžio einantį kontekstą. Kol neįsigalėjo transformeriai, tai buvo standartinis pasirinkimas tokioms užduotims kaip kalbos dalių žymėjimas, įvardytųjų esybių atpažinimas ir kalbos atpažinimas. Labai ilgiems tekstams ir dideliems duomenų rinkiniams šiandien paprastai geriau tinka transformeriai.
Sekų modeliavimas apima metodus, kurie apdoroja ir prognozuoja duomenis tam tikra tvarka, kai kiekvieno elemento vieta yra svarbi. Tipinės sekos: tekstas, šnekamoji kalba, laiko eilutės, pavyzdžiui, pardavimai ar jutiklių rodmenys, ir DNR fragmentai. Taikymai – nuo vertimo ir tekstų generavimo iki kalbos atpažinimo ir pardavimų prognozavimo. Tam buvo naudojami paslėptieji Markovo modeliai ir rekurentiniai tinklai; šiandien kalbai dominuoja transformerių modeliai.
Transformeris – neuroninio tinklo architektūra, pristatyta 2017 m. moksliniame straipsnyje „Attention Is All You Need“. Jos esmė – dėmesio mechanizmas: kiekvienas teksto žodis įvertinamas atsižvelgiant į visus kitus žodžius, o skaičiavimus galima efektyviai lygiagretinti. Transformeriais remiasi šiandienos kalbos modeliai, tokie kaip GPT, Claude ir BERT, jie taip pat naudojami vaizdams ir garsui.
