Rekurrentne närvivõrk töötleb andmeid järjest ja annab sisemise oleku igalt sammult järgmisele edasi – omamoodi lühimälu. See sobib selliste jadade jaoks nagu tekst, kõne või aegread, näiteks järgmise sõna või järgmise anduri näidu ennustamiseks. Lihtsad RNN-id unustavad kaugelt tulnud teabe kergesti; variandid nagu LSTM ja GRU leevendavad seda. Keelemudelite puhul on RNN-id suuresti asendunud transformer-mudelitega.
Long Short-Term Memory (LSTM) on rekurrentse närvivõrgu tüüp, mis suudab infot pikkades jadades säilitada. Nn väravad otsustavad igal sammul, mida salvestada, unustada või väljastada, mis leevendab kaduva gradiendi probleemi. Mitu aastat kujundasid LSTM-id kõnetuvastust, tõlget ja aegridade prognoosimist. Keeletöötluses on need suuresti asendunud transformeritega, kuid anduriandmete puhul on need endiselt levinud.
Kahesuunaline LSTM (BiLSTM) on rekurrentne närvivõrk, mis loeb jada nii edasi- kui ka tagasisuunas ja ühendab kaks vaadet. See tähendab, et arvesse võetakse ka iga sõnale järgnevat konteksti. Enne transformerite esiletõusu oli see standardvalik selliste ülesannete jaoks nagu sõnaliikide märgendamine, nimeolemite tuvastamine ja kõnetuvastus. Väga pikkade tekstide ja suurte andmekogumite puhul toimivad transformerid nüüd tavaliselt paremini.
Jadamodelleerimine hõlmab meetodeid, mis töötlevad ja ennustavad kindlas järjekorras andmeid, kus iga elemendi asukoht loeb. Tüüpilised jadad on tekst, kõnekeel, aegread nagu müük või anduri näidud ning DNA lõigud. Rakendused ulatuvad tõlkest ja tekstigenereerimisest kõnetuvastuse ja müügiprognoosideni. Selleks on kasutatud varjatud Markovi mudeleid ja rekurrentseid võrke; tänapäeval domineerivad keele puhul transformer-mudelid.
Transformer on närvivõrgu arhitektuur, mis tutvustati 2017. aastal uurimistöös „Attention Is All You Need“. Selle tuumaks on tähelepanumehhanism: iga sõna kaalutakse suhtes kõigi teiste sõnadega tekstis ning arvutust saab tõhusalt paralleliseerida. Transformerid on tänapäeva keelemudelite, nagu GPT, Claude ja BERT, aluseks ning neid kasutatakse ka piltide ja heli jaoks.
