Woordenlijst

Sequentiemodellering

Wat is Sequentiemodellering?

Sequentiemodellering omvat methoden die gegevens in een vaste volgorde verwerken en voorspellen, waarbij de positie van elk element ertoe doet. Typische reeksen zijn tekst, gesproken taal, tijdreeksen zoals omzet of sensormetingen, en DNA-segmenten. De toepassingen lopen uiteen van vertaling en tekstgeneratie tot spraakherkenning en omzetprognoses. Hiervoor werden verborgen Markovmodellen en recurrente netwerken gebruikt; tegenwoordig domineren transformermodellen voor taal.

Onderwerpen

reeksen
deep learning
tijdreeksen

KI.ordo uitproberen

Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.

Demo starten

← Alle begrippen

Verwante begrippen

Recurrent neuraal netwerk (RNN)

Een recurrent neuraal netwerk verwerkt gegevens in volgorde en geeft een interne toestand van elke stap door aan de volgende – een soort kortetermijngeheugen. Daardoor is het geschikt voor reeksen zoals tekst, spraak of tijdreeksen, bijvoorbeeld om het volgende woord of de volgende sensormeting te voorspellen. Eenvoudige RNN’s vergeten gemakkelijk informatie van ver terug; varianten als LSTM en GRU verzachten dat. Voor taalmodellen zijn RNN’s grotendeels verdrongen door transformers.

neurale netwerken
reeksen
+1

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) is een type recurrent neuraal netwerk dat informatie over lange reeksen kan vasthouden. Zogeheten gates bepalen bij elke stap wat wordt opgeslagen, vergeten of uitgevoerd, wat het probleem van de verdwijnende gradiënt verzacht. Jarenlang bepaalden LSTM’s spraakherkenning, vertaling en tijdreeksvoorspelling. In taalverwerking zijn ze grotendeels vervangen door transformers, maar voor sensordata blijven ze gangbaar.

neurale netwerken
reeksen
+1

Transformer

De transformer is een architectuur voor neurale netwerken die in 2017 werd geïntroduceerd in het onderzoeksartikel “Attention Is All You Need”. De kern is het aandachtsmechanisme (attention): elk woord wordt gewogen ten opzichte van alle andere woorden in een tekst, en de berekening kan efficiënt parallel worden uitgevoerd. Transformers vormen de basis van de huidige taalmodellen zoals GPT, Claude en BERT en worden ook voor beeld en audio gebruikt.

Architectuur
Deep learning
+1

Hidden Markov model (HMM)

Een hidden Markov model (HMM) is een statistisch model voor reeksen waarin de werkelijke toestanden verborgen zijn en alleen kunnen worden afgeleid uit waarneembare signalen. Het beschrijft de kans dat de ene toestand op de andere volgt en dat elke toestand een bepaalde waarneming oplevert. HMM’s waren lange tijd de standaard in spraakherkenning en woordsoorttagging; tegenwoordig worden ze nog gebruikt in bijvoorbeeld de bio-informatica en tijdreeksanalyse.

Statistiek
Sequentiemodellen
+1