ES
Iniciar sesiónEmpezar
Glosario

BERT

¿Qué es BERT?

BERT (Bidirectional Encoder Representations from Transformers) es un modelo de lenguaje presentado por Google en 2018. A diferencia de modelos anteriores, tiene en cuenta a la vez el contexto a la izquierda y a la derecha de una palabra, lo que le ayuda a resolver ambigüedades. BERT está pensado para comprender textos, no para redactar textos largos. Se usa en búsqueda, clasificación de textos, reconocimiento de entidades nombradas y respuesta a preguntas, y ha influido en muchos modelos posteriores.

Temas

  • Modelo de lenguaje
  • PLN
  • Transformer

Probar KI.ordo

Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.

Iniciar demo
← Todos los términos

Términos relacionados

Transformer

El Transformer es una arquitectura de red neuronal presentada en 2017 en el artículo de investigación «Attention Is All You Need». Su núcleo es el mecanismo de atención: cada palabra se pondera en relación con todas las demás del texto, y el cálculo se paraleliza con eficacia. Los Transformers son la base de los modelos de lenguaje actuales como GPT, Claude o BERT y también se usan para imagen y audio.

  • Arquitectura
  • Deep learning
  • +1

Comprensión del lenguaje natural (NLU)

La comprensión del lenguaje natural (Natural Language Understanding) es la parte del procesamiento del lenguaje que capta el significado de un enunciado: qué intención hay detrás, qué personas, lugares o fechas se mencionan y qué tono tiene. Junto con la generación de lenguaje (NLG), forma una de las dos caras del NLP. Por ejemplo, un servicio de atención que reconoce en «Mi paquete aún no ha llegado» una consulta sobre la entrega.

  • NLP
  • Detección de intención
  • +1

Embeddings de palabras

Los embeddings de palabras representan las palabras como vectores numéricos, de modo que las de significado parecido quedan cerca en el espacio vectorial, como «coche» y «vehículo». Métodos como Word2Vec o GloVe aprenden estos vectores a partir de grandes cantidades de texto. Fueron un paso importante en el procesamiento del lenguaje, por ejemplo para búsqueda o clasificación; los modelos de lenguaje actuales usan embeddings contextuales, en los que una palabra se representa de forma distinta según la frase.

  • PLN
  • Vectores
  • +1

Transformador generativo preentrenado (GPT)

GPT (Generative Pre-trained Transformer) designa una serie de grandes modelos de lenguaje desarrollados por OpenAI y basados en la arquitectura Transformer. Primero se preentrenan con enormes cantidades de texto para predecir el siguiente token y después se entrenan para el diálogo y el seguimiento de instrucciones. El primer modelo GPT apareció en 2018; las generaciones posteriores son la base de ChatGPT. En el lenguaje cotidiano, «GPT» se usa a menudo para referirse a los modelos de lenguaje en general.

  • Modelo de lenguaje
  • Transformer
  • +1