Glossário

Pathways Language Model (PaLM)

O que é Pathways Language Model (PaLM)?

O PaLM é um grande modelo de linguagem da Google, apresentado em 2022 com 540 mil milhões de parâmetros e treinado em muitos chips TPU em simultâneo, com o sistema de treino Pathways da Google. O PaLM 2 surgiu em 2023 e deu origem, entre outros, ao chatbot Bard. Entretanto, a Google substituiu o PaLM pelos seus modelos Gemini, e a API para programadores do PaLM foi encerrada em agosto de 2024. Hoje, o PaLM é relevante sobretudo como marco na evolução dos grandes modelos de linguagem.

Temas

modelo de linguagem
Google
história dos modelos

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

Grande modelo de linguagem (LLM)

Um grande modelo de linguagem (LLM) é uma rede neuronal treinada com quantidades muito grandes de texto, o que lhe permite compreender e gerar linguagem. Funciona calculando, passo a passo, o token mais provável a seguir. Os LLM escrevem, resumem, traduzem, respondem a perguntas e geram código; exemplos conhecidos são o Claude, o GPT, o Gemini e o Llama. Sem acesso a fontes atuais, só sabem o que constava dos seus dados de treino.

Modelos de linguagem
IA generativa
+1

Transformer

O transformer é uma arquitetura de rede neuronal apresentada em 2017 no artigo científico «Attention Is All You Need». No seu centro está o mecanismo de atenção: cada palavra é ponderada em relação a todas as outras palavras de um texto, e o cálculo pode ser paralelizado de forma eficiente. Os transformers estão na base dos modelos de linguagem atuais, como o GPT, o Claude e o BERT, e são também utilizados em imagens e áudio.

Arquitetura
Deep learning
+1

Modelo de base

Um modelo de base (foundation model) é um grande modelo de IA pré-treinado com dados muito extensos e diversificados, que pode depois ser utilizado em muitas tarefas diferentes. O termo foi cunhado na Universidade de Stanford em 2021. Exemplos conhecidos são grandes modelos de linguagem como o Claude ou o GPT, bem como modelos de imagem. As empresas costumam construir as suas aplicações sobre estes modelos em vez de treinarem os seus próprios de raiz; o Regulamento Europeu da IA refere-se a modelos de IA de finalidade geral.

Modelo base
Modelos de linguagem
+1

Transformador pré-treinado generativo (GPT)

GPT (generative pre-trained transformer) designa uma série de grandes modelos de linguagem desenvolvidos pela OpenAI e baseados na arquitetura transformer. Os modelos são primeiro pré-treinados com enormes quantidades de texto para prever o token seguinte e depois treinados para o diálogo e para seguir instruções. O primeiro modelo GPT surgiu em 2018; as gerações posteriores estão na base do ChatGPT. Na linguagem corrente, "GPT" é muitas vezes usado para modelos de linguagem em geral.

Modelo de linguagem
Transformer
+1