Glossário

Long Short-Term Memory (LSTM)

O que é Long Short-Term Memory (LSTM)?

A memória de longo e curto prazo (LSTM, do inglês long short-term memory) é um tipo de rede neuronal recorrente que consegue reter informação ao longo de sequências longas. As chamadas portas decidem em cada passo o que guardar, esquecer ou emitir, o que atenua o problema do desaparecimento do gradiente. Durante muitos anos, as LSTM marcaram o reconhecimento de voz, a tradução e a previsão de séries temporais. No processamento de linguagem foram em grande parte substituídas pelos transformers, mas continuam comuns para dados de sensores.

Temas

redes neuronais
sequências
deep learning

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

LSTM bidirecional

Uma LSTM bidirecional (BiLSTM) é uma rede neuronal recorrente que lê uma sequência para a frente e para trás e combina as duas perspetivas. Assim, o contexto que se segue a cada palavra também é tido em conta. Antes de os transformers se imporem, era uma escolha padrão para tarefas como a etiquetagem gramatical, o reconhecimento de entidades nomeadas e o reconhecimento de fala. Para textos muito longos e grandes conjuntos de dados, os transformers têm hoje normalmente um melhor desempenho.

Redes neuronais
Modelos de sequência
+1

Rede neuronal recorrente (RNN)

Uma rede neuronal recorrente processa os dados por ordem e transmite um estado interno de cada passo para o seguinte – uma espécie de memória de curto prazo. Isto torna-a adequada para sequências como texto, fala ou séries temporais, por exemplo para prever a palavra seguinte ou a próxima leitura de um sensor. As RNN simples esquecem facilmente informações de há muito tempo; variantes como a LSTM e a GRU atenuam o problema. Nos modelos de linguagem, as RNN foram em grande medida substituídas pelos transformers.

redes neuronais
sequências
+1

Modelação de sequências

A modelação de sequências abrange métodos que processam e preveem dados numa ordem fixa, em que a posição de cada elemento é importante. Sequências típicas são texto, linguagem falada, séries temporais, como vendas ou leituras de sensores, e segmentos de ADN. As aplicações vão da tradução e da geração de texto ao reconhecimento de voz e à previsão de vendas. Para isso foram usados modelos de Markov ocultos e redes recorrentes; hoje, os modelos transformer dominam na linguagem.

sequências
deep learning
+1

Transformer

O transformer é uma arquitetura de rede neuronal apresentada em 2017 no artigo científico «Attention Is All You Need». No seu centro está o mecanismo de atenção: cada palavra é ponderada em relação a todas as outras palavras de um texto, e o cálculo pode ser paralelizado de forma eficiente. Os transformers estão na base dos modelos de linguagem atuais, como o GPT, o Claude e o BERT, e são também utilizados em imagens e áudio.

Arquitetura
Deep learning
+1