Kahesuunaline LSTM (BiLSTM) on rekurrentne närvivõrk, mis loeb jada nii edasi- kui ka tagasisuunas ja ühendab kaks vaadet. See tähendab, et arvesse võetakse ka iga sõnale järgnevat konteksti. Enne transformerite esiletõusu oli see standardvalik selliste ülesannete jaoks nagu sõnaliikide märgendamine, nimeolemite tuvastamine ja kõnetuvastus. Väga pikkade tekstide ja suurte andmekogumite puhul toimivad transformerid nüüd tavaliselt paremini.
Long Short-Term Memory (LSTM) on rekurrentse närvivõrgu tüüp, mis suudab infot pikkades jadades säilitada. Nn väravad otsustavad igal sammul, mida salvestada, unustada või väljastada, mis leevendab kaduva gradiendi probleemi. Mitu aastat kujundasid LSTM-id kõnetuvastust, tõlget ja aegridade prognoosimist. Keeletöötluses on need suuresti asendunud transformeritega, kuid anduriandmete puhul on need endiselt levinud.
Rekurrentne närvivõrk töötleb andmeid järjest ja annab sisemise oleku igalt sammult järgmisele edasi – omamoodi lühimälu. See sobib selliste jadade jaoks nagu tekst, kõne või aegread, näiteks järgmise sõna või järgmise anduri näidu ennustamiseks. Lihtsad RNN-id unustavad kaugelt tulnud teabe kergesti; variandid nagu LSTM ja GRU leevendavad seda. Keelemudelite puhul on RNN-id suuresti asendunud transformer-mudelitega.
Jadamodelleerimine hõlmab meetodeid, mis töötlevad ja ennustavad kindlas järjekorras andmeid, kus iga elemendi asukoht loeb. Tüüpilised jadad on tekst, kõnekeel, aegread nagu müük või anduri näidud ning DNA lõigud. Rakendused ulatuvad tõlkest ja tekstigenereerimisest kõnetuvastuse ja müügiprognoosideni. Selleks on kasutatud varjatud Markovi mudeleid ja rekurrentseid võrke; tänapäeval domineerivad keele puhul transformer-mudelid.
Nimeüksuste tuvastus (named entity recognition, NER) on loomuliku keele töötluse võte, mis leiab tekstist inimeste, ettevõtete ja kohtade nimed ning kuupäevad või summad ja määrab igaühele kategooria. See muudab vaba teksti struktureeritud andmeteks. Näide: e-kirjast eraldatakse automaatselt saatja ettevõte, kontaktisik, tarnekuupäev ja arve summa ning kantakse need CRM-i.
