Dvikryptis LSTM (BiLSTM) – rekurentinis neuroninis tinklas, kuris seką skaito ir pirmyn, ir atgal bei sujungia abu požiūrius. Tai reiškia, kad atsižvelgiama ir į po kiekvieno žodžio einantį kontekstą. Kol neįsigalėjo transformeriai, tai buvo standartinis pasirinkimas tokioms užduotims kaip kalbos dalių žymėjimas, įvardytųjų esybių atpažinimas ir kalbos atpažinimas. Labai ilgiems tekstams ir dideliems duomenų rinkiniams šiandien paprastai geriau tinka transformeriai.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąIlgoji trumpalaikė atmintis (LSTM, angl. long short-term memory) – tai rekurentinio neuroninio tinklo tipas, galintis išlaikyti informaciją per ilgas sekas. Vadinamieji vartai kiekviename žingsnyje nusprendžia, ką išsaugoti, pamiršti ar išvesti, o tai sušvelnina nykstančio gradiento problemą. Daugelį metų LSTM formavo kalbos atpažinimą, vertimą ir laiko eilučių prognozavimą. Kalbos apdorojime juos daugiausia pakeitė transformeriai, tačiau jutiklių duomenims jie išlieka įprasti.
Rekurentinis neuroninis tinklas apdoroja duomenis iš eilės ir perduoda vidinę būseną iš kiekvieno žingsnio į kitą – tarsi trumpalaikę atmintį. Dėl to jis tinka sekoms, tokioms kaip tekstas, kalba ar laiko eilutės, pavyzdžiui, kitam žodžiui ar kitam jutiklio rodmeniui prognozuoti. Paprasti RNN lengvai pamiršta informaciją iš toli; variantai, tokie kaip LSTM ir GRU, šią problemą sušvelnina. Kalbos modeliuose RNN daugiausia išstūmė transformeriai.
Sekų modeliavimas apima metodus, kurie apdoroja ir prognozuoja duomenis tam tikra tvarka, kai kiekvieno elemento vieta yra svarbi. Tipinės sekos: tekstas, šnekamoji kalba, laiko eilutės, pavyzdžiui, pardavimai ar jutiklių rodmenys, ir DNR fragmentai. Taikymai – nuo vertimo ir tekstų generavimo iki kalbos atpažinimo ir pardavimų prognozavimo. Tam buvo naudojami paslėptieji Markovo modeliai ir rekurentiniai tinklai; šiandien kalbai dominuoja transformerių modeliai.
Įvardytų esybių atpažinimas (angl. named entity recognition, NER) – tai natūraliosios kalbos apdorojimo metodas, tekste randantis žmonių, įmonių ir vietovių pavadinimus, taip pat datas ar sumas ir priskiriantis kiekvieną kategorijai. Jis laisvą tekstą paverčia struktūrizuotais duomenimis. Pavyzdys: iš el. laiško automatiškai išgaunama siuntėjo įmonė, kontaktinis asmuo, pristatymo data ir sąskaitos faktūros suma ir perkeliama į CRM.
