Glossário

Token

O que é Token?

Um token é a menor unidade de texto que um modelo de linguagem processa, normalmente parte de uma palavra, uma palavra curta ou um sinal de pontuação. Os modelos leem as entradas e geram as respostas token a token, e o tamanho da janela de contexto também é medido em tokens. Como os fornecedores cobram tokens de entrada e de saída, os tokens determinam diretamente os custos e os limites: instruções longas e muito conhecimento de base aumentam o consumo.

Como o KI.ordo ajuda

O KI.ordo mostra o consumo de tokens e os custos por modelo e permite definir um limite mensal de tokens.

Saber mais

Temas

LLM
Custos
Base

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

Custos dos LLM

Os custos dos grandes modelos de linguagem são normalmente faturados por token, isto é, unidades de texto do tamanho aproximado de uma sílaba a uma palavra; os tokens de entrada e de saída têm preços separados, sendo os de saída geralmente mais caros. Os modelos maiores custam mais por token do que os modelos pequenos e rápidos, como o Claude Haiku, que muitas vezes bastam para tarefas simples. O prompt caching reduz os custos quando o mesmo contexto longo é enviado repetidamente. Instruções concisas e conhecimento cuidadosamente selecionado também ajudam.

Custos
Tokens
+1

Grande modelo de linguagem (LLM)

Um grande modelo de linguagem (LLM) é uma rede neuronal treinada com quantidades muito grandes de texto, o que lhe permite compreender e gerar linguagem. Funciona calculando, passo a passo, o token mais provável a seguir. Os LLM escrevem, resumem, traduzem, respondem a perguntas e geram código; exemplos conhecidos são o Claude, o GPT, o Gemini e o Llama. Sem acesso a fontes atuais, só sabem o que constava dos seus dados de treino.

Modelos de linguagem
IA generativa
+1

Geração aumentada por cache (CAG)

A geração aumentada por cache (CAG) é uma abordagem em que um modelo de linguagem não procura conhecimento a cada pergunta. Em vez disso, uma base de conhecimento de dimensão gerível é carregada antecipadamente na sua janela de contexto e esse estado é guardado em cache, pelo que as respostas não precisam de um passo de recuperação separado. O termo foi popularizado por um artigo de investigação do final de 2024 como alternativa à geração aumentada por recuperação (RAG). A CAG adequa-se a bases de conhecimento pequenas e estáveis; para dados volumosos ou que mudam com frequência, a RAG continua normalmente a ser mais prática.

RAG
Janela de contexto
+1