Glossaire

Token

Qu’est-ce que Token ?

Un token est la plus petite unité de texte traitée par un modèle de langage : le plus souvent un fragment de mot, un mot court ou un signe de ponctuation. Les modèles lisent les entrées et produisent les réponses token par token, et la taille de la fenêtre de contexte se mesure elle aussi en tokens. Comme les fournisseurs facturent les tokens d'entrée et de sortie, ceux-ci déterminent directement coûts et limites : de longues instructions et beaucoup de connaissances ajoutées augmentent la consommation.

Ce que fait KI.ordo

KI.ordo affiche la consommation de tokens et les coûts par modèle et vous permet de fixer une limite mensuelle de tokens.

En savoir plus →: Token

Thèmes

  • LLM
  • Coûts
  • Notions de base

Essayer KI.ordo

Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.

Lancer la démo
← Tous les termes

Termes associés

Coûts des LLM

Les coûts des grands modèles de langage sont généralement facturés au token, c'est-à-dire par unité de texte allant d'une syllabe à un mot ; les tokens d'entrée et de sortie ont des prix distincts, la sortie étant en général plus chère. Les grands modèles coûtent plus cher par token que des modèles petits et rapides comme Claude Haiku, souvent suffisants pour des tâches simples. La mise en cache des prompts réduit les coûts lorsque le même long contexte est envoyé plusieurs fois. Des instructions concises et des connaissances bien ciblées aident aussi.

  • Coûts
  • Tokens
  • +1

Grand modèle de langage (LLM)

Un grand modèle de langage (Large Language Model, LLM) est un réseau de neurones entraîné sur de très grands volumes de texte, ce qui lui permet de comprendre et de produire du langage. Il fonctionne en calculant, pas à pas, le jeton suivant le plus probable. Les LLM rédigent, résument, traduisent, répondent à des questions et génèrent du code ; Claude, GPT, Gemini et Llama en sont des exemples connus. Sans sources à jour, ils ne connaissent que leurs données d’entraînement.

  • Modèles de langage
  • IA générative
  • +1

Génération augmentée par cache (CAG)

La génération augmentée par cache (CAG) est une approche dans laquelle un modèle de langage ne cherche pas l'information à chaque question : une base de connaissances limitée est chargée à l'avance dans sa fenêtre de contexte, puis cet état est mis en cache, ce qui supprime l'étape de recherche. Le terme est apparu fin 2024 comme alternative à la RAG. La CAG convient aux bases petites et stables ; pour des données volumineuses ou changeantes, la RAG reste plus pratique.

  • RAG
  • Fenêtre de contexte
  • +1