Glossar

Long Short-Term Memory (LSTM)

Was ist Long Short-Term Memory (LSTM)?

Long Short-Term Memory (LSTM) ist eine Bauart rekurrenter neuronaler Netze, die Informationen über lange Sequenzen hinweg behalten kann. Sogenannte Gates entscheiden in jedem Schritt, was gespeichert, vergessen oder ausgegeben wird; so wird das Problem verschwindender Gradienten abgeschwächt. LSTMs prägten lange Spracherkennung, Übersetzung und Zeitreihenprognosen. In der Sprachverarbeitung haben Transformer sie weitgehend abgelöst, bei Sensordaten sind sie weiterhin verbreitet.

Themen

neuronale Netze
Sequenzen
Deep Learning

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Bidirektionales LSTM

Ein bidirektionales LSTM (BiLSTM) ist ein rekurrentes neuronales Netz, das eine Sequenz gleichzeitig von vorn nach hinten und von hinten nach vorn liest und beide Sichtweisen kombiniert. So fließt für jedes Wort auch der nachfolgende Kontext ein. Vor dem Durchbruch der Transformer war das ein Standard für Aufgaben wie Wortarten-Tagging, Erkennung benannter Entitäten oder Spracherkennung. Für sehr lange Texte und große Datenmengen sind Transformer heute meist überlegen.

Neuronale Netze
Sequenzmodelle
+1

Rekurrentes neuronales Netz (RNN)

Ein rekurrentes neuronales Netz verarbeitet Daten der Reihe nach und gibt bei jedem Schritt einen inneren Zustand an den nächsten weiter – eine Art Kurzzeitgedächtnis. Damit eignet es sich für Sequenzen wie Text, Sprache oder Zeitreihen, etwa zur Vorhersage des nächsten Wortes oder von Sensorwerten. Einfache RNNs vergessen weit zurückliegende Informationen leicht; Varianten wie LSTM und GRU mildern das. Für Sprachmodelle wurden RNNs weitgehend von Transformern abgelöst.

neuronale Netze
Sequenzen
+1

Sequenzmodellierung

Sequenzmodellierung umfasst Verfahren, die Daten mit fester Reihenfolge verarbeiten und vorhersagen, bei denen also die Position eines Elements eine Rolle spielt. Typische Sequenzen sind Text, gesprochene Sprache, Zeitreihen wie Umsätze oder Sensorwerte sowie DNA-Abschnitte. Anwendungen reichen von Übersetzung und Textgenerierung über Spracherkennung bis zu Absatzprognosen. Verwendet wurden dafür Hidden-Markov-Modelle und rekurrente Netze; heute dominieren bei Sprache Transformer-Modelle.

Sequenzen
Deep Learning
+1

Transformer

Der Transformer ist eine Architektur neuronaler Netze, die 2017 in dem Forschungsartikel „Attention Is All You Need“ vorgestellt wurde. Ihr Kern ist der Attention-Mechanismus: Jedes Wort wird im Zusammenhang mit allen anderen Wörtern eines Textes gewichtet, und die Berechnung lässt sich gut parallelisieren. Transformer bilden die Grundlage heutiger Sprachmodelle wie GPT, Claude oder BERT und werden auch für Bilder und Audio eingesetzt.

Architektur
Deep Learning
+1