Glossário

Modelação de sequências

O que é Modelação de sequências?

A modelação de sequências abrange métodos que processam e preveem dados numa ordem fixa, em que a posição de cada elemento é importante. Sequências típicas são texto, linguagem falada, séries temporais, como vendas ou leituras de sensores, e segmentos de ADN. As aplicações vão da tradução e da geração de texto ao reconhecimento de voz e à previsão de vendas. Para isso foram usados modelos de Markov ocultos e redes recorrentes; hoje, os modelos transformer dominam na linguagem.

Temas

sequências
deep learning
série temporal

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

Rede neuronal recorrente (RNN)

Uma rede neuronal recorrente processa os dados por ordem e transmite um estado interno de cada passo para o seguinte – uma espécie de memória de curto prazo. Isto torna-a adequada para sequências como texto, fala ou séries temporais, por exemplo para prever a palavra seguinte ou a próxima leitura de um sensor. As RNN simples esquecem facilmente informações de há muito tempo; variantes como a LSTM e a GRU atenuam o problema. Nos modelos de linguagem, as RNN foram em grande medida substituídas pelos transformers.

redes neuronais
sequências
+1

Long Short-Term Memory (LSTM)

A memória de longo e curto prazo (LSTM, do inglês long short-term memory) é um tipo de rede neuronal recorrente que consegue reter informação ao longo de sequências longas. As chamadas portas decidem em cada passo o que guardar, esquecer ou emitir, o que atenua o problema do desaparecimento do gradiente. Durante muitos anos, as LSTM marcaram o reconhecimento de voz, a tradução e a previsão de séries temporais. No processamento de linguagem foram em grande parte substituídas pelos transformers, mas continuam comuns para dados de sensores.

redes neuronais
sequências
+1

Transformer

O transformer é uma arquitetura de rede neuronal apresentada em 2017 no artigo científico «Attention Is All You Need». No seu centro está o mecanismo de atenção: cada palavra é ponderada em relação a todas as outras palavras de um texto, e o cálculo pode ser paralelizado de forma eficiente. Os transformers estão na base dos modelos de linguagem atuais, como o GPT, o Claude e o BERT, e são também utilizados em imagens e áudio.

Arquitetura
Deep learning
+1

Modelo oculto de Markov (HMM)

Um modelo oculto de Markov (HMM, do inglês hidden Markov model) é um modelo estatístico para sequências em que os estados reais estão ocultos e só podem ser deduzidos a partir de sinais observáveis. Descreve a probabilidade de um estado suceder a outro e de cada estado produzir uma dada observação. Os HMM foram durante muito tempo a norma no reconhecimento de voz e na anotação morfossintática; hoje continuam a ser usados, por exemplo, na bioinformática e na análise de séries temporais.

Estatística
Modelos de sequência
+1