Glossaire

Long Short-Term Memory (LSTM)

Qu’est-ce que Long Short-Term Memory (LSTM) ?

Le Long Short-Term Memory (LSTM) est un type de réseau de neurones récurrent capable de conserver des informations sur de longues séquences. Des portes décident à chaque étape de ce qui est mémorisé, oublié ou transmis, ce qui atténue le problème de disparition du gradient. Les LSTM ont longtemps marqué la reconnaissance vocale, la traduction et la prévision de séries temporelles. En traitement du langage, les transformers les ont largement remplacés, mais ils restent courants pour les données de capteurs.

Thèmes

réseaux de neurones
séquences
deep learning

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

LSTM bidirectionnel

Un LSTM bidirectionnel (BiLSTM) est un réseau de neurones récurrent qui lit une séquence à la fois du début vers la fin et de la fin vers le début, puis combine les deux lectures. Le contexte qui suit chaque mot est ainsi pris en compte. Avant l'essor des transformers, c'était un choix standard pour l'étiquetage morpho-syntaxique, la reconnaissance d'entités nommées ou la reconnaissance vocale. Pour les textes très longs et les gros volumes de données, les transformers sont aujourd'hui généralement plus performants.

Réseaux de neurones
Modèles de séquence
+1

Réseau de neurones récurrent (RNN)

Un réseau de neurones récurrent traite les données dans l'ordre et transmet à chaque étape un état interne à la suivante, une sorte de mémoire à court terme. Il convient donc aux séquences comme le texte, la parole ou les séries temporelles, par exemple pour prédire le mot suivant ou la prochaine valeur d'un capteur. Les RNN simples oublient facilement les informations lointaines ; des variantes comme LSTM et GRU atténuent ce problème. Pour les modèles de langage, les transformers les ont largement remplacés.

réseaux de neurones
séquences
+1

Modélisation de séquences

La modélisation de séquences regroupe les méthodes qui traitent et prédisent des données ordonnées, où la position de chaque élément compte. Les séquences typiques sont le texte, la parole, les séries temporelles comme les ventes ou les mesures de capteurs, ou encore des segments d'ADN. Les applications vont de la traduction et de la génération de texte à la reconnaissance vocale et aux prévisions de ventes. On a utilisé pour cela des modèles de Markov cachés et des réseaux récurrents ; aujourd'hui, les transformers dominent pour le langage.

séquences
apprentissage profond
+1

Transformer

Le Transformer est une architecture de réseau de neurones présentée en 2017 dans l'article de recherche « Attention Is All You Need ». Son cœur est le mécanisme d'attention : chaque mot est pondéré par rapport à tous les autres mots du texte, et le calcul se parallélise efficacement. Les Transformers sont à la base des modèles de langage actuels comme GPT, Claude ou BERT et servent aussi pour l'image et l'audio.

Architecture
Deep learning
+1