Glossaire

Transformer

Qu’est-ce que Transformer ?

Le Transformer est une architecture de réseau de neurones présentée en 2017 dans l'article de recherche « Attention Is All You Need ». Son cœur est le mécanisme d'attention : chaque mot est pondéré par rapport à tous les autres mots du texte, et le calcul se parallélise efficacement. Les Transformers sont à la base des modèles de langage actuels comme GPT, Claude ou BERT et servent aussi pour l'image et l'audio.

Ce que fait KI.ordo

Les modèles Claude d'Anthropic utilisés par KI.ordo sont de grands modèles de langage fondés sur l'architecture Transformer.

Thèmes

Architecture
Deep learning
LLM

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

Transformeur génératif pré-entraîné (GPT)

GPT (Generative Pre-trained Transformer) désigne une série de grands modèles de langage développés par OpenAI et fondés sur l’architecture Transformer. Les modèles sont d’abord pré-entraînés sur d’immenses volumes de texte à prédire le jeton suivant, puis entraînés pour le dialogue et le suivi d’instructions. Le premier modèle GPT est paru en 2018 ; les générations suivantes sont à la base de ChatGPT. Dans le langage courant, « GPT » désigne souvent les modèles de langage en général.

Modèle de langage
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) est un modèle de langage présenté par Google en 2018. Contrairement aux modèles antérieurs, il prend en compte simultanément le contexte à gauche et à droite d'un mot, ce qui l'aide à lever les ambiguïtés. BERT est conçu pour comprendre des textes plutôt que pour en rédiger de longs. Il sert à la recherche, à la classification de textes, à la reconnaissance d'entités nommées et à la réponse aux questions, et a inspiré de nombreux modèles.

Modèle de langage
TAL
+1

Grand modèle de langage (LLM)

Un grand modèle de langage (Large Language Model, LLM) est un réseau de neurones entraîné sur de très grands volumes de texte, ce qui lui permet de comprendre et de produire du langage. Il fonctionne en calculant, pas à pas, le jeton suivant le plus probable. Les LLM rédigent, résument, traduisent, répondent à des questions et génèrent du code ; Claude, GPT, Gemini et Llama en sont des exemples connus. Sans sources à jour, ils ne connaissent que leurs données d’entraînement.

Modèles de langage
IA générative
+1

Hugging Face Transformers

Hugging Face Transformers est une bibliothèque Python open source qui donne accès à des modèles pré-entraînés pour le texte, l'image et l'audio via une interface unifiée. Les développeurs l'utilisent pour télécharger des modèles depuis le Hugging Face Hub, les tester, les adapter à leurs données ou les exécuter en local. Depuis la version 5, la bibliothèque mise principalement sur PyTorch (état : octobre 2026). Exemple : une équipe teste un modèle d'analyse de sentiment en quelques lignes de code.

Open source
Bibliothèque
+2