Long Short-Term Memory (LSTM) er en type rekurrent neuralt netværk, der kan bevare information over lange sekvenser. Såkaldte gates afgør i hvert trin, hvad der skal gemmes, glemmes eller udsendes, hvilket afhjælper problemet med forsvindende gradienter. I mange år prægede LSTM'er talegenkendelse, oversættelse og tidsserieprognoser. Inden for sprogbehandling er de stort set afløst af transformere, men de er stadig almindelige til sensordata.
En bidirektionel LSTM (BiLSTM) er et rekurrent neuralt netværk, der læser en sekvens både forlæns og baglæns og kombinerer de to perspektiver. Dermed tages der også hensyn til den kontekst, der følger efter hvert ord. Før transformerne tog over, var den et standardvalg til opgaver som ordklassemærkning, genkendelse af navngivne entiteter og talegenkendelse. Ved meget lange tekster og store datasæt klarer transformere sig nu som regel bedre.
Et recurrent neural network behandler data i rækkefølge og giver en intern tilstand videre fra hvert trin til det næste – en slags korttidshukommelse. Det gør det velegnet til sekvenser som tekst, tale eller tidsserier, f.eks. til at forudsige det næste ord eller den næste sensormåling. Enkle RNN'er glemmer let information langt tilbage; varianter som LSTM og GRU afhjælper det. For sprogmodeller er RNN'er stort set afløst af transformere.
Sekvensmodellering omfatter metoder, der behandler og forudsiger data i en fast rækkefølge, hvor hvert elements position har betydning. Typiske sekvenser er tekst, talt sprog, tidsserier som salg eller sensormålinger og DNA-segmenter. Anvendelserne spænder fra oversættelse og tekstgenerering til talegenkendelse og salgsprognoser. Skjulte Markov-modeller og rekurrente netværk er blevet brugt til det; i dag dominerer transformer-modeller inden for sprog.
Transformeren er en neural netværksarkitektur, der blev introduceret i 2017 i forskningsartiklen »Attention Is All You Need«. Kernen er attention-mekanismen: hvert ord vægtes i forhold til alle andre ord i en tekst, og beregningen kan paralleliseres effektivt. Transformere ligger til grund for nutidens sprogmodeller som GPT, Claude og BERT og bruges også til billeder og lyd.
