Glosario

Pathways Language Model (PaLM)

¿Qué es Pathways Language Model (PaLM)?

PaLM es un gran modelo de lenguaje de Google, presentado en 2022 con 540 000 millones de parámetros y entrenado en muchos chips TPU a la vez mediante el sistema de entrenamiento Pathways. En 2023 llegó PaLM 2, que impulsaba entre otros el chatbot Bard. Desde entonces, Google ha sustituido PaLM por sus modelos Gemini y la API de PaLM para desarrolladores se cerró en agosto de 2024. Hoy PaLM interesa sobre todo como hito en la evolución de los grandes modelos de lenguaje.

Temas

modelo de lenguaje
Google
historia de modelos

Probar KI.ordo

Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.

Iniciar demo

← Todos los términos

Términos relacionados

Modelo de lenguaje grande (LLM)

Un modelo de lenguaje grande (Large Language Model, LLM) es una red neuronal entrenada con enormes cantidades de texto, lo que le permite entender y generar lenguaje. Funciona calculando, paso a paso, el siguiente token más probable. Los LLM redactan, resumen, traducen, responden preguntas y generan código; ejemplos conocidos son Claude, GPT, Gemini y Llama. Sin acceso a fuentes actualizadas, solo conocen lo que había en sus datos de entrenamiento.

Modelos de lenguaje
IA generativa
+1

Transformer

El Transformer es una arquitectura de red neuronal presentada en 2017 en el artículo de investigación «Attention Is All You Need». Su núcleo es el mecanismo de atención: cada palabra se pondera en relación con todas las demás del texto, y el cálculo se paraleliza con eficacia. Los Transformers son la base de los modelos de lenguaje actuales como GPT, Claude o BERT y también se usan para imagen y audio.

Arquitectura
Deep learning
+1

Modelo fundacional

Un modelo fundacional (foundation model) es un gran modelo de IA preentrenado con datos muy amplios y variados que después puede usarse para muchas tareas distintas. El término se acuñó en la Universidad de Stanford en 2021. Ejemplos conocidos son los grandes modelos de lenguaje como Claude o GPT. Las empresas suelen construir sus aplicaciones sobre estos modelos en vez de entrenar uno propio desde cero; el Reglamento europeo de IA habla de modelos de IA de uso general.

Modelo base
Modelos de lenguaje
+1

Transformador generativo preentrenado (GPT)

GPT (Generative Pre-trained Transformer) designa una serie de grandes modelos de lenguaje desarrollados por OpenAI y basados en la arquitectura Transformer. Primero se preentrenan con enormes cantidades de texto para predecir el siguiente token y después se entrenan para el diálogo y el seguimiento de instrucciones. El primer modelo GPT apareció en 2018; las generaciones posteriores son la base de ChatGPT. En el lenguaje cotidiano, «GPT» se usa a menudo para referirse a los modelos de lenguaje en general.

Modelo de lenguaje
Transformer
+1