Glossar

Bidirektionales LSTM

Was ist Bidirektionales LSTM?

Ein bidirektionales LSTM (BiLSTM) ist ein rekurrentes neuronales Netz, das eine Sequenz gleichzeitig von vorn nach hinten und von hinten nach vorn liest und beide Sichtweisen kombiniert. So fließt für jedes Wort auch der nachfolgende Kontext ein. Vor dem Durchbruch der Transformer war das ein Standard für Aufgaben wie Wortarten-Tagging, Erkennung benannter Entitäten oder Spracherkennung. Für sehr lange Texte und große Datenmengen sind Transformer heute meist überlegen.

Themen

Neuronale Netze
Sequenzmodelle
NLP

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) ist eine Bauart rekurrenter neuronaler Netze, die Informationen über lange Sequenzen hinweg behalten kann. Sogenannte Gates entscheiden in jedem Schritt, was gespeichert, vergessen oder ausgegeben wird; so wird das Problem verschwindender Gradienten abgeschwächt. LSTMs prägten lange Spracherkennung, Übersetzung und Zeitreihenprognosen. In der Sprachverarbeitung haben Transformer sie weitgehend abgelöst, bei Sensordaten sind sie weiterhin verbreitet.

neuronale Netze
Sequenzen
+1

Rekurrentes neuronales Netz (RNN)

Ein rekurrentes neuronales Netz verarbeitet Daten der Reihe nach und gibt bei jedem Schritt einen inneren Zustand an den nächsten weiter – eine Art Kurzzeitgedächtnis. Damit eignet es sich für Sequenzen wie Text, Sprache oder Zeitreihen, etwa zur Vorhersage des nächsten Wortes oder von Sensorwerten. Einfache RNNs vergessen weit zurückliegende Informationen leicht; Varianten wie LSTM und GRU mildern das. Für Sprachmodelle wurden RNNs weitgehend von Transformern abgelöst.

neuronale Netze
Sequenzen
+1

Sequenzmodellierung

Sequenzmodellierung umfasst Verfahren, die Daten mit fester Reihenfolge verarbeiten und vorhersagen, bei denen also die Position eines Elements eine Rolle spielt. Typische Sequenzen sind Text, gesprochene Sprache, Zeitreihen wie Umsätze oder Sensorwerte sowie DNA-Abschnitte. Anwendungen reichen von Übersetzung und Textgenerierung über Spracherkennung bis zu Absatzprognosen. Verwendet wurden dafür Hidden-Markov-Modelle und rekurrente Netze; heute dominieren bei Sprache Transformer-Modelle.

Sequenzen
Deep Learning
+1

Erkennung benannter Entitäten (NER)

Die Erkennung benannter Entitäten (Named Entity Recognition, NER) ist ein Verfahren der Sprachverarbeitung, das in Texten Namen von Personen, Firmen, Orten sowie Datumsangaben oder Beträge findet und einer Kategorie zuordnet. So werden aus Fließtext strukturierte Daten. Beispiel: Aus einer E-Mail werden automatisch Absenderfirma, Ansprechpartner, Liefertermin und Rechnungsbetrag herausgezogen und in ein CRM übertragen.

NLP
Informationsextraktion
+1

Vorlage