Glossário

Transformer

O que é Transformer?

O transformer é uma arquitetura de rede neuronal apresentada em 2017 no artigo científico «Attention Is All You Need». No seu centro está o mecanismo de atenção: cada palavra é ponderada em relação a todas as outras palavras de um texto, e o cálculo pode ser paralelizado de forma eficiente. Os transformers estão na base dos modelos de linguagem atuais, como o GPT, o Claude e o BERT, e são também utilizados em imagens e áudio.

Como o KI.ordo ajuda

Os modelos Claude da Anthropic utilizados pelo KI.ordo são grandes modelos de linguagem baseados na arquitetura transformer.

Temas

Arquitetura
Deep learning
LLM

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

Transformador pré-treinado generativo (GPT)

GPT (generative pre-trained transformer) designa uma série de grandes modelos de linguagem desenvolvidos pela OpenAI e baseados na arquitetura transformer. Os modelos são primeiro pré-treinados com enormes quantidades de texto para prever o token seguinte e depois treinados para o diálogo e para seguir instruções. O primeiro modelo GPT surgiu em 2018; as gerações posteriores estão na base do ChatGPT. Na linguagem corrente, "GPT" é muitas vezes usado para modelos de linguagem em geral.

Modelo de linguagem
Transformer
+1

BERT

O BERT (Bidirectional Encoder Representations from Transformers) é um modelo de linguagem apresentado pela Google em 2018. Ao contrário de modelos anteriores, considera ao mesmo tempo o contexto à esquerda e à direita de uma palavra, o que o ajuda a resolver ambiguidades. O BERT foi concebido para compreender texto e não para escrever passagens mais longas. É utilizado em pesquisa, classificação de texto, reconhecimento de entidades nomeadas e resposta a perguntas e influenciou muitos modelos sucessores.

Modelo de linguagem
NLP
+1

Grande modelo de linguagem (LLM)

Um grande modelo de linguagem (LLM) é uma rede neuronal treinada com quantidades muito grandes de texto, o que lhe permite compreender e gerar linguagem. Funciona calculando, passo a passo, o token mais provável a seguir. Os LLM escrevem, resumem, traduzem, respondem a perguntas e geram código; exemplos conhecidos são o Claude, o GPT, o Gemini e o Llama. Sem acesso a fontes atuais, só sabem o que constava dos seus dados de treino.

Modelos de linguagem
IA generativa
+1

Hugging Face Transformers

O Hugging Face Transformers é uma biblioteca Python de código aberto que dá acesso a modelos pré-treinados para texto, imagens e áudio através de uma interface única e consistente. Os programadores usam-na para descarregar modelos do Hugging Face Hub, experimentá-los, adaptá-los aos seus próprios dados ou executá-los localmente. Desde a versão 5, a biblioteca centra-se sobretudo no PyTorch (situação em outubro de 2026). Exemplo: uma equipa testa um modelo de análise de sentimento com apenas algumas linhas de código.

Open source
Biblioteca
+2