Glossar

Sequenzmodellierung

Was ist Sequenzmodellierung?

Sequenzmodellierung umfasst Verfahren, die Daten mit fester Reihenfolge verarbeiten und vorhersagen, bei denen also die Position eines Elements eine Rolle spielt. Typische Sequenzen sind Text, gesprochene Sprache, Zeitreihen wie Umsätze oder Sensorwerte sowie DNA-Abschnitte. Anwendungen reichen von Übersetzung und Textgenerierung über Spracherkennung bis zu Absatzprognosen. Verwendet wurden dafür Hidden-Markov-Modelle und rekurrente Netze; heute dominieren bei Sprache Transformer-Modelle.

Themen

Sequenzen
Deep Learning
Zeitreihen

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Rekurrentes neuronales Netz (RNN)

Ein rekurrentes neuronales Netz verarbeitet Daten der Reihe nach und gibt bei jedem Schritt einen inneren Zustand an den nächsten weiter – eine Art Kurzzeitgedächtnis. Damit eignet es sich für Sequenzen wie Text, Sprache oder Zeitreihen, etwa zur Vorhersage des nächsten Wortes oder von Sensorwerten. Einfache RNNs vergessen weit zurückliegende Informationen leicht; Varianten wie LSTM und GRU mildern das. Für Sprachmodelle wurden RNNs weitgehend von Transformern abgelöst.

neuronale Netze
Sequenzen
+1

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) ist eine Bauart rekurrenter neuronaler Netze, die Informationen über lange Sequenzen hinweg behalten kann. Sogenannte Gates entscheiden in jedem Schritt, was gespeichert, vergessen oder ausgegeben wird; so wird das Problem verschwindender Gradienten abgeschwächt. LSTMs prägten lange Spracherkennung, Übersetzung und Zeitreihenprognosen. In der Sprachverarbeitung haben Transformer sie weitgehend abgelöst, bei Sensordaten sind sie weiterhin verbreitet.

neuronale Netze
Sequenzen
+1

Transformer

Der Transformer ist eine Architektur neuronaler Netze, die 2017 in dem Forschungsartikel „Attention Is All You Need“ vorgestellt wurde. Ihr Kern ist der Attention-Mechanismus: Jedes Wort wird im Zusammenhang mit allen anderen Wörtern eines Textes gewichtet, und die Berechnung lässt sich gut parallelisieren. Transformer bilden die Grundlage heutiger Sprachmodelle wie GPT, Claude oder BERT und werden auch für Bilder und Audio eingesetzt.

Architektur
Deep Learning
+1

Hidden-Markov-Modell (HMM)

Ein Hidden-Markov-Modell (HMM) ist ein statistisches Modell für Abfolgen, bei dem die eigentlichen Zustände verborgen sind und nur über beobachtbare Signale erschlossen werden können. Es beschreibt, mit welcher Wahrscheinlichkeit ein Zustand auf den nächsten folgt und welche Beobachtung er erzeugt. HMMs waren lange Standard in der Spracherkennung und beim Bestimmen von Wortarten; heute werden sie etwa noch in der Bioinformatik und bei Zeitreihen eingesetzt.

Statistik
Sequenzmodelle
+1