Glossário

BERT

O que é BERT?

O BERT (Bidirectional Encoder Representations from Transformers) é um modelo de linguagem apresentado pela Google em 2018. Ao contrário de modelos anteriores, considera ao mesmo tempo o contexto à esquerda e à direita de uma palavra, o que o ajuda a resolver ambiguidades. O BERT foi concebido para compreender texto e não para escrever passagens mais longas. É utilizado em pesquisa, classificação de texto, reconhecimento de entidades nomeadas e resposta a perguntas e influenciou muitos modelos sucessores.

Temas

Modelo de linguagem
NLP
Transformer

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

Transformer

O transformer é uma arquitetura de rede neuronal apresentada em 2017 no artigo científico «Attention Is All You Need». No seu centro está o mecanismo de atenção: cada palavra é ponderada em relação a todas as outras palavras de um texto, e o cálculo pode ser paralelizado de forma eficiente. Os transformers estão na base dos modelos de linguagem atuais, como o GPT, o Claude e o BERT, e são também utilizados em imagens e áudio.

Arquitetura
Deep learning
+1

Compreensão de linguagem natural (NLU)

A compreensão de linguagem natural é a parte do processamento de linguagem que capta o significado de um enunciado: que intenção está por trás dele, que pessoas, locais ou datas são mencionados e qual é o seu tom? Em conjunto com a geração de linguagem natural (NLG), a NLU forma um dos dois lados do PLN. Um exemplo é um sistema de apoio ao cliente que reconhece «A minha encomenda ainda não chegou» como um pedido sobre a entrega.

NLP
Deteção de intenção
+1

Word embeddings

Os word embeddings representam palavras como vetores numéricos, de modo que palavras com significados semelhantes fiquem próximas no espaço vetorial, como «carro» e «veículo». Métodos como o Word2Vec ou o GloVe aprendem estes vetores a partir de grandes quantidades de texto. Foram um passo importante no processamento de linguagem, por exemplo na pesquisa ou na classificação; os modelos de linguagem atuais utilizam embeddings contextuais, em que uma palavra é representada de forma diferente consoante a frase.

NLP
Vetores
+1

Transformador pré-treinado generativo (GPT)

GPT (generative pre-trained transformer) designa uma série de grandes modelos de linguagem desenvolvidos pela OpenAI e baseados na arquitetura transformer. Os modelos são primeiro pré-treinados com enormes quantidades de texto para prever o token seguinte e depois treinados para o diálogo e para seguir instruções. O primeiro modelo GPT surgiu em 2018; as gerações posteriores estão na base do ChatGPT. Na linguagem corrente, "GPT" é muitas vezes usado para modelos de linguagem em geral.

Modelo de linguagem
Transformer
+1