En bidirektionel LSTM (BiLSTM) er et rekurrent neuralt netværk, der læser en sekvens både forlæns og baglæns og kombinerer de to perspektiver. Dermed tages der også hensyn til den kontekst, der følger efter hvert ord. Før transformerne tog over, var den et standardvalg til opgaver som ordklassemærkning, genkendelse af navngivne entiteter og talegenkendelse. Ved meget lange tekster og store datasæt klarer transformere sig nu som regel bedre.
Long Short-Term Memory (LSTM) er en type rekurrent neuralt netværk, der kan bevare information over lange sekvenser. Såkaldte gates afgør i hvert trin, hvad der skal gemmes, glemmes eller udsendes, hvilket afhjælper problemet med forsvindende gradienter. I mange år prægede LSTM'er talegenkendelse, oversættelse og tidsserieprognoser. Inden for sprogbehandling er de stort set afløst af transformere, men de er stadig almindelige til sensordata.
Et recurrent neural network behandler data i rækkefølge og giver en intern tilstand videre fra hvert trin til det næste – en slags korttidshukommelse. Det gør det velegnet til sekvenser som tekst, tale eller tidsserier, f.eks. til at forudsige det næste ord eller den næste sensormåling. Enkle RNN'er glemmer let information langt tilbage; varianter som LSTM og GRU afhjælper det. For sprogmodeller er RNN'er stort set afløst af transformere.
Sekvensmodellering omfatter metoder, der behandler og forudsiger data i en fast rækkefølge, hvor hvert elements position har betydning. Typiske sekvenser er tekst, talt sprog, tidsserier som salg eller sensormålinger og DNA-segmenter. Anvendelserne spænder fra oversættelse og tekstgenerering til talegenkendelse og salgsprognoser. Skjulte Markov-modeller og rekurrente netværk er blevet brugt til det; i dag dominerer transformer-modeller inden for sprog.
Genkendelse af navngivne entiteter (named entity recognition, NER) er en teknik inden for naturlig sprogbehandling, som finder navne på personer, virksomheder og steder samt datoer eller beløb i tekst og tildeler hver en kategori. Den omdanner fri tekst til strukturerede data. Eksempel: Afsenderens virksomhed, kontaktperson, leveringsdato og fakturabeløb udtrækkes automatisk fra en e-mail og overføres til et CRM.
