Glossaire

Pathways Language Model (PaLM)

Qu’est-ce que Pathways Language Model (PaLM) ?

PaLM est un grand modèle de langage de Google, présenté en 2022 avec 540 milliards de paramètres et entraîné simultanément sur de nombreuses puces TPU grâce au système d'entraînement Pathways. PaLM 2 a suivi en 2023 et alimentait notamment le chatbot Bard. Google a depuis remplacé PaLM par ses modèles Gemini, et l'API PaLM destinée aux développeurs a été arrêtée en août 2024. PaLM reste surtout une étape marquante dans l'évolution des grands modèles de langage.

Thèmes

modèle de langage
Google
historique des modèles

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

Grand modèle de langage (LLM)

Un grand modèle de langage (Large Language Model, LLM) est un réseau de neurones entraîné sur de très grands volumes de texte, ce qui lui permet de comprendre et de produire du langage. Il fonctionne en calculant, pas à pas, le jeton suivant le plus probable. Les LLM rédigent, résument, traduisent, répondent à des questions et génèrent du code ; Claude, GPT, Gemini et Llama en sont des exemples connus. Sans sources à jour, ils ne connaissent que leurs données d’entraînement.

Modèles de langage
IA générative
+1

Transformer

Le Transformer est une architecture de réseau de neurones présentée en 2017 dans l'article de recherche « Attention Is All You Need ». Son cœur est le mécanisme d'attention : chaque mot est pondéré par rapport à tous les autres mots du texte, et le calcul se parallélise efficacement. Les Transformers sont à la base des modèles de langage actuels comme GPT, Claude ou BERT et servent aussi pour l'image et l'audio.

Architecture
Deep learning
+1

Modèle de fondation

Un modèle de fondation est un grand modèle d’IA pré-entraîné sur des données très vastes et variées, qui peut ensuite servir à de nombreuses tâches différentes. Le terme a été forgé à l’université Stanford en 2021. Exemples connus : les grands modèles de langage comme Claude ou GPT. Les entreprises bâtissent généralement leurs applications sur ces modèles plutôt que d’en entraîner un elles-mêmes ; le règlement européen sur l’IA parle de modèles d’IA à usage général.

Modèle de base
Modèles de langage
+1

Transformeur génératif pré-entraîné (GPT)

GPT (Generative Pre-trained Transformer) désigne une série de grands modèles de langage développés par OpenAI et fondés sur l’architecture Transformer. Les modèles sont d’abord pré-entraînés sur d’immenses volumes de texte à prédire le jeton suivant, puis entraînés pour le dialogue et le suivi d’instructions. Le premier modèle GPT est paru en 2018 ; les générations suivantes sont à la base de ChatGPT. Dans le langage courant, « GPT » désigne souvent les modèles de langage en général.

Modèle de langage
Transformer
+1