Glosario

Transformer

¿Qué es Transformer?

El Transformer es una arquitectura de red neuronal presentada en 2017 en el artículo de investigación «Attention Is All You Need». Su núcleo es el mecanismo de atención: cada palabra se pondera en relación con todas las demás del texto, y el cálculo se paraleliza con eficacia. Los Transformers son la base de los modelos de lenguaje actuales como GPT, Claude o BERT y también se usan para imagen y audio.

Cómo ayuda KI.ordo

Los modelos Claude de Anthropic que utiliza KI.ordo son grandes modelos de lenguaje basados en la arquitectura Transformer.

Temas

Arquitectura
Deep learning
LLM

Probar KI.ordo

Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.

Iniciar demo

← Todos los términos

Términos relacionados

Transformador generativo preentrenado (GPT)

GPT (Generative Pre-trained Transformer) designa una serie de grandes modelos de lenguaje desarrollados por OpenAI y basados en la arquitectura Transformer. Primero se preentrenan con enormes cantidades de texto para predecir el siguiente token y después se entrenan para el diálogo y el seguimiento de instrucciones. El primer modelo GPT apareció en 2018; las generaciones posteriores son la base de ChatGPT. En el lenguaje cotidiano, «GPT» se usa a menudo para referirse a los modelos de lenguaje en general.

Modelo de lenguaje
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) es un modelo de lenguaje presentado por Google en 2018. A diferencia de modelos anteriores, tiene en cuenta a la vez el contexto a la izquierda y a la derecha de una palabra, lo que le ayuda a resolver ambigüedades. BERT está pensado para comprender textos, no para redactar textos largos. Se usa en búsqueda, clasificación de textos, reconocimiento de entidades nombradas y respuesta a preguntas, y ha influido en muchos modelos posteriores.

Modelo de lenguaje
PLN
+1

Modelo de lenguaje grande (LLM)

Un modelo de lenguaje grande (Large Language Model, LLM) es una red neuronal entrenada con enormes cantidades de texto, lo que le permite entender y generar lenguaje. Funciona calculando, paso a paso, el siguiente token más probable. Los LLM redactan, resumen, traducen, responden preguntas y generan código; ejemplos conocidos son Claude, GPT, Gemini y Llama. Sin acceso a fuentes actualizadas, solo conocen lo que había en sus datos de entrenamiento.

Modelos de lenguaje
IA generativa
+1

Hugging Face Transformers

Hugging Face Transformers es una biblioteca de Python de código abierto que da acceso a modelos preentrenados para texto, imagen y audio mediante una interfaz unificada. Con ella puedes descargar modelos del Hugging Face Hub, probarlos, adaptarlos a tus propios datos o ejecutarlos en local. Desde la versión 5, la biblioteca se centra principalmente en PyTorch (a octubre de 2026). Ejemplo: un equipo prueba un modelo de análisis de sentimiento con pocas líneas de código.

Código abierto
Biblioteca
+2