Divvirzienu LSTM (BiLSTM) ir rekurents neironu tīkls, kas nolasa secību gan uz priekšu, gan atpakaļ un apvieno abus skatījumus. Tas nozīmē, ka tiek ņemts vērā arī konteksts, kas seko katram vārdam. Pirms transformeru izplatības tā bija standarta izvēle tādiem uzdevumiem kā vārdšķiru marķēšana, nosaukto entītiju atpazīšana un runas atpazīšana. Ļoti gariem tekstiem un lielām datu kopām transformeri tagad parasti darbojas labāk.
Ilgtermiņa īstermiņa atmiņa (LSTM) ir rekurento neironu tīklu veids, kas spēj saglabāt informāciju garās secībās. Tā sauktie vārti katrā solī izlemj, ko saglabāt, aizmirst vai izvadīt, un tas mazina izzūdošā gradienta problēmu. Daudzus gadus LSTM veidoja runas atpazīšanu, tulkošanu un laikrindu prognozēšanu. Valodas apstrādē tos lielā mērā aizstājuši transformeri, taču tie joprojām ir izplatīti sensoru datiem.
Rekurentais neironu tīkls apstrādā datus secīgi un nodod iekšējo stāvokli no viena soļa nākamajam — sava veida īstermiņa atmiņu. Tāpēc tas ir piemērots secībām, piemēram, tekstam, runai vai laika rindām, lai prognozētu, piemēram, nākamo vārdu vai nākamo sensora rādījumu. Vienkārši RNN viegli aizmirst tālu pagātnes informāciju; varianti, piemēram, LSTM un GRU, šo problēmu mazina. Valodas modeļiem RNN lielā mērā ir aizstājuši transformeri.
Secību modelēšana aptver metodes, kas apstrādā un prognozē datus noteiktā secībā, kur katra elementa pozīcijai ir nozīme. Tipiskas secības ir teksts, runāta valoda, laika rindas, piemēram, pārdošanas apjomi vai sensoru rādījumi, un DNS posmi. Pielietojumi ir no tulkošanas un teksta ģenerēšanas līdz runas atpazīšanai un pārdošanas prognozēšanai. Šim nolūkam ir izmantoti slēptie Markova modeļi un rekurentie tīkli; mūsdienās valodai dominē transformeru modeļi.
Nosaukto entītiju atpazīšana (NER) ir dabiskās valodas apstrādes paņēmiens, kas tekstā atrod cilvēku, uzņēmumu un vietu nosaukumus, kā arī datumus vai summas un katram piešķir kategoriju. Tā pārveido brīvu tekstu strukturētos datos. Piemērs: no e-pasta automātiski tiek izgūts sūtītāja uzņēmums, kontaktpersona, piegādes datums un rēķina summa un nodots CRM sistēmai.
