Glosář

Token

Co je Token?

Token je nejmenší jednotka textu, kterou jazykový model zpracovává, obvykle část slova, krátké slovo nebo interpunkční znaménko. Modely čtou vstupy a generují odpovědi token po tokenu a v tokenech se měří také velikost kontextového okna. Protože poskytovatelé účtují vstupní a výstupní tokeny, tokeny přímo určují náklady a limity: dlouhé pokyny a rozsáhlé podkladové znalosti zvyšují spotřebu.

Jak pomáhá KI.ordo

KI.ordo zobrazuje spotřebu tokenů a náklady podle modelu a umožňuje nastavit měsíční limit tokenů.

Zjistit více

Témata

LLM
Náklady
Základ

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo

← Všechny pojmy

Související pojmy

Náklady na LLM

Náklady na velké jazykové modely se obvykle účtují za token, tedy textové jednotky velikosti zhruba od slabiky po slovo; vstupní a výstupní tokeny se oceňují zvlášť, přičemž výstup je obvykle dražší. Větší modely stojí za token více než malé, rychlé modely, například Claude Haiku, které pro jednoduché úlohy často stačí. Prompt caching snižuje náklady, když se opakovaně odesílá stejný dlouhý kontext. Pomáhají také stručné pokyny a pečlivě vybrané znalosti.

Náklady
Tokens
+1

Velký jazykový model (LLM)

Velký jazykový model (LLM) je neuronová síť natrénovaná na velmi velkém množství textu, díky čemuž dokáže jazyk chápat a generovat. Funguje tak, že krok za krokem počítá nejpravděpodobnější další token. LLM píší, shrnují, překládají, odpovídají na otázky a generují kód; mezi známé příklady patří Claude, GPT, Gemini a Llama. Bez přístupu k aktuálním zdrojům vědí jen to, co bylo v jejich trénovacích datech.

jazykové modely
generativní AI
+1

Generování rozšířené o mezipaměť (CAG)

Generování rozšířené o mezipaměť (Cache-augmented generation, CAG) je přístup, při kterém jazykový model nevyhledává znalosti u každé otázky. Místo toho se do jeho kontextového okna předem načte přehledná znalostní báze a tento stav se uloží do mezipaměti, takže odpovědi nevyžadují samostatný krok vyhledávání. Pojem zpopularizoval výzkumný článek z konce roku 2024 jako alternativu ke generování rozšířenému o vyhledávání (RAG). CAG se hodí pro malé a stabilní znalostní báze; u velkých nebo často se měnících dat zůstává RAG obvykle praktičtější.

RAG
Kontextové okno
+1