Sekų modeliavimas apima metodus, kurie apdoroja ir prognozuoja duomenis tam tikra tvarka, kai kiekvieno elemento vieta yra svarbi. Tipinės sekos: tekstas, šnekamoji kalba, laiko eilutės, pavyzdžiui, pardavimai ar jutiklių rodmenys, ir DNR fragmentai. Taikymai – nuo vertimo ir tekstų generavimo iki kalbos atpažinimo ir pardavimų prognozavimo. Tam buvo naudojami paslėptieji Markovo modeliai ir rekurentiniai tinklai; šiandien kalbai dominuoja transformerių modeliai.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąRekurentinis neuroninis tinklas apdoroja duomenis iš eilės ir perduoda vidinę būseną iš kiekvieno žingsnio į kitą – tarsi trumpalaikę atmintį. Dėl to jis tinka sekoms, tokioms kaip tekstas, kalba ar laiko eilutės, pavyzdžiui, kitam žodžiui ar kitam jutiklio rodmeniui prognozuoti. Paprasti RNN lengvai pamiršta informaciją iš toli; variantai, tokie kaip LSTM ir GRU, šią problemą sušvelnina. Kalbos modeliuose RNN daugiausia išstūmė transformeriai.
Ilgoji trumpalaikė atmintis (LSTM, angl. long short-term memory) – tai rekurentinio neuroninio tinklo tipas, galintis išlaikyti informaciją per ilgas sekas. Vadinamieji vartai kiekviename žingsnyje nusprendžia, ką išsaugoti, pamiršti ar išvesti, o tai sušvelnina nykstančio gradiento problemą. Daugelį metų LSTM formavo kalbos atpažinimą, vertimą ir laiko eilučių prognozavimą. Kalbos apdorojime juos daugiausia pakeitė transformeriai, tačiau jutiklių duomenims jie išlieka įprasti.
Transformeris – neuroninio tinklo architektūra, pristatyta 2017 m. moksliniame straipsnyje „Attention Is All You Need“. Jos esmė – dėmesio mechanizmas: kiekvienas teksto žodis įvertinamas atsižvelgiant į visus kitus žodžius, o skaičiavimus galima efektyviai lygiagretinti. Transformeriais remiasi šiandienos kalbos modeliai, tokie kaip GPT, Claude ir BERT, jie taip pat naudojami vaizdams ir garsui.
Paslėptasis Markovo modelis (angl. hidden Markov model, HMM) – tai statistinis sekų modelis, kuriame tikrosios būsenos yra paslėptos ir gali būti nustatytos tik iš stebimų signalų. Jis aprašo tikimybę, kad po vienos būsenos seks kita, ir kad kiekviena būsena sukurs tam tikrą stebėjimą. HMM ilgą laiką buvo kalbos atpažinimo ir kalbos dalių žymėjimo standartas; šiandien jie vis dar naudojami, pavyzdžiui, bioinformatikoje ir laiko eilučių analizėje.
