Long short-term memory (LSTM) är en typ av rekurrent neuralt nätverk som kan behålla information över långa sekvenser. Så kallade grindar avgör i varje steg vad som ska lagras, glömmas eller matas ut, vilket lindrar problemet med försvinnande gradienter. Under många år präglade LSTM taligenkänning, översättning och prognoser för tidsserier. Inom språkbehandling har de i stor utsträckning ersatts av transformers, men de är fortfarande vanliga för sensordata.
En dubbelriktad LSTM (BiLSTM) är ett rekurrent neuralt nätverk som läser en sekvens både framåt och bakåt och kombinerar de två perspektiven. Det innebär att även sammanhanget som följer efter varje ord beaktas. Innan transformrarna tog över var den ett standardval för uppgifter som ordklasstaggning, igenkänning av namngivna entiteter och taligenkänning. För mycket långa texter och stora datamängder presterar transformrar numera oftast bättre.
Ett rekurrent neuralt nätverk bearbetar data i ordning och för över ett internt tillstånd från varje steg till nästa – ett slags korttidsminne. Det gör det lämpligt för sekvenser som text, tal eller tidsserier, till exempel för att förutsäga nästa ord eller nästa sensorvärde. Enkla RNN glömmer lätt information som ligger långt tillbaka; varianter som LSTM och GRU lindrar detta. För språkmodeller har RNN till stor del ersatts av transformers.
Sekvensmodellering omfattar metoder som bearbetar och förutsäger data i en fast ordning, där varje elements position spelar roll. Typiska sekvenser är text, talat språk, tidsserier som försäljning eller sensorvärden, och DNA-segment. Tillämpningarna sträcker sig från översättning och textgenerering till taligenkänning och försäljningsprognoser. Dolda Markovmodeller och rekurrenta nätverk har använts för detta; i dag dominerar transformermodeller för språk.
Transformern är en arkitektur för neurala nätverk som introducerades 2017 i forskningsartikeln ”Attention Is All You Need”. I kärnan finns uppmärksamhetsmekanismen: varje ord vägs i förhållande till alla andra ord i en text, och beräkningen kan parallelliseras effektivt. Transformers ligger till grund för dagens språkmodeller som GPT, Claude och BERT och används också för bilder och ljud.
