En dubbelriktad LSTM (BiLSTM) är ett rekurrent neuralt nätverk som läser en sekvens både framåt och bakåt och kombinerar de två perspektiven. Det innebär att även sammanhanget som följer efter varje ord beaktas. Innan transformrarna tog över var den ett standardval för uppgifter som ordklasstaggning, igenkänning av namngivna entiteter och taligenkänning. För mycket långa texter och stora datamängder presterar transformrar numera oftast bättre.
Long short-term memory (LSTM) är en typ av rekurrent neuralt nätverk som kan behålla information över långa sekvenser. Så kallade grindar avgör i varje steg vad som ska lagras, glömmas eller matas ut, vilket lindrar problemet med försvinnande gradienter. Under många år präglade LSTM taligenkänning, översättning och prognoser för tidsserier. Inom språkbehandling har de i stor utsträckning ersatts av transformers, men de är fortfarande vanliga för sensordata.
Ett rekurrent neuralt nätverk bearbetar data i ordning och för över ett internt tillstånd från varje steg till nästa – ett slags korttidsminne. Det gör det lämpligt för sekvenser som text, tal eller tidsserier, till exempel för att förutsäga nästa ord eller nästa sensorvärde. Enkla RNN glömmer lätt information som ligger långt tillbaka; varianter som LSTM och GRU lindrar detta. För språkmodeller har RNN till stor del ersatts av transformers.
Sekvensmodellering omfattar metoder som bearbetar och förutsäger data i en fast ordning, där varje elements position spelar roll. Typiska sekvenser är text, talat språk, tidsserier som försäljning eller sensorvärden, och DNA-segment. Tillämpningarna sträcker sig från översättning och textgenerering till taligenkänning och försäljningsprognoser. Dolda Markovmodeller och rekurrenta nätverk har använts för detta; i dag dominerar transformermodeller för språk.
Igenkänning av namngivna entiteter (NER) är en teknik inom språkteknologi som hittar namn på personer, företag och platser samt datum eller belopp i text och placerar var och en i en kategori. Den gör fritext till strukturerade data. Exempel: avsändarens företag, kontaktperson, leveransdatum och fakturabelopp plockas automatiskt ut ur ett e-postmeddelande och förs över till ett CRM.
