Glossario

Token

Che cos’è Token?

Un token è la più piccola unità di testo elaborata da un modello linguistico: di solito una parte di parola, una parola breve o un segno di punteggiatura. I modelli leggono gli input e generano le risposte token dopo token, e anche la dimensione della finestra di contesto si misura in token. Poiché i fornitori fatturano i token in ingresso e in uscita, i token determinano direttamente costi e limiti: istruzioni lunghe e molte conoscenze aggiuntive aumentano il consumo.

Come aiuta KI.ordo

KI.ordo mostra il consumo di token e i costi per modello e consente di impostare un limite mensile di token.

Scopri di più →

Temi

LLM
Costi
Concetti base

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

Costi degli LLM

I costi dei grandi modelli linguistici sono di solito calcolati per token, cioè unità di testo che vanno da una sillaba a una parola; token di input e di output hanno prezzi separati e l'output è in genere più caro. I modelli più grandi costano di più per token rispetto a modelli piccoli e veloci come Claude Haiku, spesso sufficienti per compiti semplici. Il prompt caching riduce i costi quando lo stesso lungo contesto viene inviato più volte. Aiutano anche istruzioni concise e conoscenze selezionate con cura.

Costi
Token
+1

Modello linguistico di grandi dimensioni (LLM)

Un modello linguistico di grandi dimensioni (Large Language Model, LLM) è una rete neurale addestrata su enormi quantità di testo, in grado quindi di comprendere e generare linguaggio. Funziona calcolando passo dopo passo il token successivo più probabile. Gli LLM scrivono, riassumono, traducono, rispondono a domande e generano codice; esempi noti sono Claude, GPT, Gemini e Llama. Senza accesso a fonti aggiornate conoscono solo ciò che era nei dati di addestramento.

Modelli linguistici
IA generativa
+1

Cache-augmented generation (CAG)

La cache-augmented generation (CAG) è un approccio in cui un modello linguistico non cerca le conoscenze a ogni domanda: una base di conoscenza di dimensioni contenute viene caricata in anticipo nella finestra di contesto e questo stato viene memorizzato in cache, eliminando la fase di ricerca. Il termine è nato a fine 2024 come alternativa alla RAG. È adatta a basi piccole e stabili; con dati ampi o mutevoli la RAG resta di solito più pratica.

RAG
Finestra di contesto
+1