Qu’est-ce que Transformeur génératif pré-entraîné (GPT) ?
GPT (Generative Pre-trained Transformer) désigne une série de grands modèles de langage développés par OpenAI et fondés sur l’architecture Transformer. Les modèles sont d’abord pré-entraînés sur d’immenses volumes de texte à prédire le jeton suivant, puis entraînés pour le dialogue et le suivi d’instructions. Le premier modèle GPT est paru en 2018 ; les générations suivantes sont à la base de ChatGPT. Dans le langage courant, « GPT » désigne souvent les modèles de langage en général.