Sekvensmodellering omfatter metoder, der behandler og forudsiger data i en fast rækkefølge, hvor hvert elements position har betydning. Typiske sekvenser er tekst, talt sprog, tidsserier som salg eller sensormålinger og DNA-segmenter. Anvendelserne spænder fra oversættelse og tekstgenerering til talegenkendelse og salgsprognoser. Skjulte Markov-modeller og rekurrente netværk er blevet brugt til det; i dag dominerer transformer-modeller inden for sprog.
Et recurrent neural network behandler data i rækkefølge og giver en intern tilstand videre fra hvert trin til det næste – en slags korttidshukommelse. Det gør det velegnet til sekvenser som tekst, tale eller tidsserier, f.eks. til at forudsige det næste ord eller den næste sensormåling. Enkle RNN'er glemmer let information langt tilbage; varianter som LSTM og GRU afhjælper det. For sprogmodeller er RNN'er stort set afløst af transformere.
Long Short-Term Memory (LSTM) er en type rekurrent neuralt netværk, der kan bevare information over lange sekvenser. Såkaldte gates afgør i hvert trin, hvad der skal gemmes, glemmes eller udsendes, hvilket afhjælper problemet med forsvindende gradienter. I mange år prægede LSTM'er talegenkendelse, oversættelse og tidsserieprognoser. Inden for sprogbehandling er de stort set afløst af transformere, men de er stadig almindelige til sensordata.
Transformeren er en neural netværksarkitektur, der blev introduceret i 2017 i forskningsartiklen »Attention Is All You Need«. Kernen er attention-mekanismen: hvert ord vægtes i forhold til alle andre ord i en tekst, og beregningen kan paralleliseres effektivt. Transformere ligger til grund for nutidens sprogmodeller som GPT, Claude og BERT og bruges også til billeder og lyd.
En skjult Markov-model (hidden Markov model, HMM) er en statistisk model for sekvenser, hvor de egentlige tilstande er skjulte og kun kan udledes af observerbare signaler. Den beskriver sandsynligheden for, at én tilstand følger efter en anden, og for at hver tilstand giver en bestemt observation. HMM'er var længe standard inden for talegenkendelse og ordklassetagging; i dag bruges de stadig f.eks. i bioinformatik og tidsserieanalyse.
