Sekvensmodellering omfattar metoder som bearbetar och förutsäger data i en fast ordning, där varje elements position spelar roll. Typiska sekvenser är text, talat språk, tidsserier som försäljning eller sensorvärden, och DNA-segment. Tillämpningarna sträcker sig från översättning och textgenerering till taligenkänning och försäljningsprognoser. Dolda Markovmodeller och rekurrenta nätverk har använts för detta; i dag dominerar transformermodeller för språk.
Ett rekurrent neuralt nätverk bearbetar data i ordning och för över ett internt tillstånd från varje steg till nästa – ett slags korttidsminne. Det gör det lämpligt för sekvenser som text, tal eller tidsserier, till exempel för att förutsäga nästa ord eller nästa sensorvärde. Enkla RNN glömmer lätt information som ligger långt tillbaka; varianter som LSTM och GRU lindrar detta. För språkmodeller har RNN till stor del ersatts av transformers.
Long short-term memory (LSTM) är en typ av rekurrent neuralt nätverk som kan behålla information över långa sekvenser. Så kallade grindar avgör i varje steg vad som ska lagras, glömmas eller matas ut, vilket lindrar problemet med försvinnande gradienter. Under många år präglade LSTM taligenkänning, översättning och prognoser för tidsserier. Inom språkbehandling har de i stor utsträckning ersatts av transformers, men de är fortfarande vanliga för sensordata.
Transformern är en arkitektur för neurala nätverk som introducerades 2017 i forskningsartikeln ”Attention Is All You Need”. I kärnan finns uppmärksamhetsmekanismen: varje ord vägs i förhållande till alla andra ord i en text, och beräkningen kan parallelliseras effektivt. Transformers ligger till grund för dagens språkmodeller som GPT, Claude och BERT och används också för bilder och ljud.
En dold markovmodell (hidden Markov model, HMM) är en statistisk modell för sekvenser där de faktiska tillstånden är dolda och bara kan härledas ur observerbara signaler. Den beskriver sannolikheten för att ett tillstånd följer på ett annat och för att varje tillstånd ger en viss observation. HMM var länge standard inom taligenkänning och ordklasstaggning; i dag används de fortfarande, till exempel inom bioinformatik och tidsserieanalys.
