Long Short-Term Memory (LSTM) is een type recurrent neuraal netwerk dat informatie over lange reeksen kan vasthouden. Zogeheten gates bepalen bij elke stap wat wordt opgeslagen, vergeten of uitgevoerd, wat het probleem van de verdwijnende gradiënt verzacht. Jarenlang bepaalden LSTM’s spraakherkenning, vertaling en tijdreeksvoorspelling. In taalverwerking zijn ze grotendeels vervangen door transformers, maar voor sensordata blijven ze gangbaar.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenEen bidirectionele LSTM (BiLSTM) is een recurrent neuraal netwerk dat een reeks zowel voorwaarts als achterwaarts leest en beide gezichtspunten combineert. Zo wordt ook de context meegenomen die op elk woord volgt. Voordat transformers de overhand kregen, was het een standaardkeuze voor taken zoals woordsoortbepaling, herkenning van benoemde entiteiten en spraakherkenning. Bij zeer lange teksten en grote datasets presteren transformers nu meestal beter.
Een recurrent neuraal netwerk verwerkt gegevens in volgorde en geeft een interne toestand van elke stap door aan de volgende – een soort kortetermijngeheugen. Daardoor is het geschikt voor reeksen zoals tekst, spraak of tijdreeksen, bijvoorbeeld om het volgende woord of de volgende sensormeting te voorspellen. Eenvoudige RNN’s vergeten gemakkelijk informatie van ver terug; varianten als LSTM en GRU verzachten dat. Voor taalmodellen zijn RNN’s grotendeels verdrongen door transformers.
Sequentiemodellering omvat methoden die gegevens in een vaste volgorde verwerken en voorspellen, waarbij de positie van elk element ertoe doet. Typische reeksen zijn tekst, gesproken taal, tijdreeksen zoals omzet of sensormetingen, en DNA-segmenten. De toepassingen lopen uiteen van vertaling en tekstgeneratie tot spraakherkenning en omzetprognoses. Hiervoor werden verborgen Markovmodellen en recurrente netwerken gebruikt; tegenwoordig domineren transformermodellen voor taal.
De transformer is een architectuur voor neurale netwerken die in 2017 werd geïntroduceerd in het onderzoeksartikel “Attention Is All You Need”. De kern is het aandachtsmechanisme (attention): elk woord wordt gewogen ten opzichte van alle andere woorden in een tekst, en de berekening kan efficiënt parallel worden uitgevoerd. Transformers vormen de basis van de huidige taalmodellen zoals GPT, Claude en BERT en worden ook voor beeld en audio gebruikt.
