Glossaire

BERT

Qu’est-ce que BERT ?

BERT (Bidirectional Encoder Representations from Transformers) est un modèle de langage présenté par Google en 2018. Contrairement aux modèles antérieurs, il prend en compte simultanément le contexte à gauche et à droite d'un mot, ce qui l'aide à lever les ambiguïtés. BERT est conçu pour comprendre des textes plutôt que pour en rédiger de longs. Il sert à la recherche, à la classification de textes, à la reconnaissance d'entités nommées et à la réponse aux questions, et a inspiré de nombreux modèles.

Thèmes

Modèle de langage
TAL
Transformer

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo

← Tous les termes

Termes associés

Transformer

Le Transformer est une architecture de réseau de neurones présentée en 2017 dans l'article de recherche « Attention Is All You Need ». Son cœur est le mécanisme d'attention : chaque mot est pondéré par rapport à tous les autres mots du texte, et le calcul se parallélise efficacement. Les Transformers sont à la base des modèles de langage actuels comme GPT, Claude ou BERT et servent aussi pour l'image et l'audio.

Architecture
Deep learning
+1

Compréhension du langage naturel (NLU)

La compréhension du langage naturel (Natural Language Understanding) est la partie du traitement du langage qui saisit le sens d'un énoncé : quelle intention l'anime, quelles personnes, quels lieux ou quelles dates sont cités, quel est le ton ? Avec la génération de langage (NLG), elle forme l'une des deux faces du NLP. Exemple : un service client qui reconnaît dans « Mon colis n'est toujours pas arrivé » une demande de livraison.

NLP
Détection d'intention
+1

Plongements lexicaux (word embeddings)

Les plongements lexicaux représentent les mots sous forme de vecteurs numériques, de sorte que des mots de sens voisin soient proches dans l'espace vectoriel, comme « voiture » et « véhicule ». Des méthodes comme Word2Vec ou GloVe apprennent ces vecteurs à partir de grandes quantités de texte. Ils ont marqué une étape importante du traitement du langage, notamment pour la recherche ou la classification ; les modèles de langage actuels utilisent des plongements contextuels, où un mot est représenté différemment selon la phrase.

NLP
Vecteurs
+1

Transformeur génératif pré-entraîné (GPT)

GPT (Generative Pre-trained Transformer) désigne une série de grands modèles de langage développés par OpenAI et fondés sur l’architecture Transformer. Les modèles sont d’abord pré-entraînés sur d’immenses volumes de texte à prédire le jeton suivant, puis entraînés pour le dialogue et le suivi d’instructions. Le premier modèle GPT est paru en 2018 ; les générations suivantes sont à la base de ChatGPT. Dans le langage courant, « GPT » désigne souvent les modèles de langage en général.

Modèle de langage
Transformer
+1