Glosar

Token

Ce este Token?

Un token este cea mai mică unitate de text pe care o prelucrează un model lingvistic, de obicei o parte dintr-un cuvânt, un cuvânt scurt sau un semn de punctuație. Modelele citesc intrările și generează răspunsurile token cu token, iar dimensiunea ferestrei de context se măsoară, de asemenea, în tokeni. Deoarece furnizorii taxează tokenii de intrare și de ieșire, tokenii determină direct costurile și limitele: instrucțiunile lungi și cunoștințele de fond ample cresc consumul.

Cum ajută KI.ordo

KI.ordo afișează consumul de tokeni și costurile pe model și vă permite să setați o limită lunară de tokeni.

Aflați mai multe

Subiecte

LLM
Costuri
Elemente de bază

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Costurile LLM

Costurile modelelor lingvistice de mari dimensiuni se facturează de obicei pe token, adică unități de text de la mărimea aproximativă a unei silabe până la cea a unui cuvânt; tokenii de intrare și cei de ieșire sunt tarifați separat, cei de ieșire fiind în general mai scumpi. Modelele mai mari costă mai mult pe token decât modelele mici și rapide, precum Claude Haiku, care sunt adesea suficiente pentru sarcini simple. Prompt caching reduce costurile atunci când același context lung este trimis în mod repetat. Ajută și instrucțiunile concise și cunoștințele alese cu grijă.

Costuri
Tokens
+1

Model lingvistic de mari dimensiuni (LLM)

Un model lingvistic de mari dimensiuni (LLM) este o rețea neuronală antrenată pe cantități foarte mari de text, ceea ce îi permite să înțeleagă și să genereze limbaj. Funcționează calculând, pas cu pas, cel mai probabil token următor. LLM-urile scriu, rezumă, traduc, răspund la întrebări și generează cod; exemple cunoscute sunt Claude, GPT, Gemini și Llama. Fără acces la surse actuale, ele știu doar ce se afla în datele lor de antrenare.

modele lingvistice
IA generativă
+1

Generare augmentată prin cache (CAG)

Generarea augmentată prin cache (CAG) este o abordare în care un model lingvistic nu caută cunoștințe la fiecare întrebare. În schimb, o bază de cunoștințe de dimensiuni rezonabile este încărcată în avans în fereastra sa de context, iar această stare este stocată în cache, astfel încât răspunsurile nu necesită un pas separat de regăsire. Termenul a fost popularizat de o lucrare de cercetare de la sfârșitul anului 2024, ca alternativă la generarea augmentată prin regăsire (RAG). CAG se potrivește bazelor de cunoștințe mici și stabile; pentru date mari sau care se schimbă frecvent, RAG rămâne de obicei mai practic.

RAG
Fereastră de context
+1