Een bidirectionele LSTM (BiLSTM) is een recurrent neuraal netwerk dat een reeks zowel voorwaarts als achterwaarts leest en beide gezichtspunten combineert. Zo wordt ook de context meegenomen die op elk woord volgt. Voordat transformers de overhand kregen, was het een standaardkeuze voor taken zoals woordsoortbepaling, herkenning van benoemde entiteiten en spraakherkenning. Bij zeer lange teksten en grote datasets presteren transformers nu meestal beter.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenLong Short-Term Memory (LSTM) is een type recurrent neuraal netwerk dat informatie over lange reeksen kan vasthouden. Zogeheten gates bepalen bij elke stap wat wordt opgeslagen, vergeten of uitgevoerd, wat het probleem van de verdwijnende gradiënt verzacht. Jarenlang bepaalden LSTM’s spraakherkenning, vertaling en tijdreeksvoorspelling. In taalverwerking zijn ze grotendeels vervangen door transformers, maar voor sensordata blijven ze gangbaar.
Een recurrent neuraal netwerk verwerkt gegevens in volgorde en geeft een interne toestand van elke stap door aan de volgende – een soort kortetermijngeheugen. Daardoor is het geschikt voor reeksen zoals tekst, spraak of tijdreeksen, bijvoorbeeld om het volgende woord of de volgende sensormeting te voorspellen. Eenvoudige RNN’s vergeten gemakkelijk informatie van ver terug; varianten als LSTM en GRU verzachten dat. Voor taalmodellen zijn RNN’s grotendeels verdrongen door transformers.
Sequentiemodellering omvat methoden die gegevens in een vaste volgorde verwerken en voorspellen, waarbij de positie van elk element ertoe doet. Typische reeksen zijn tekst, gesproken taal, tijdreeksen zoals omzet of sensormetingen, en DNA-segmenten. De toepassingen lopen uiteen van vertaling en tekstgeneratie tot spraakherkenning en omzetprognoses. Hiervoor werden verborgen Markovmodellen en recurrente netwerken gebruikt; tegenwoordig domineren transformermodellen voor taal.
Named entity recognition (NER) is een techniek voor natuurlijke taalverwerking die namen van personen, bedrijven en plaatsen, evenals datums of bedragen in tekst opspoort en elk aan een categorie toewijst. Zo wordt vrije tekst omgezet in gestructureerde data. Voorbeeld: het bedrijf van de afzender, de contactpersoon, de leverdatum en het factuurbedrag worden automatisch uit een e-mail gehaald en overgenomen in een CRM.
