Slovník pojmov

Token

Čo je Token?

Token je najmenšia jednotka textu, ktorú jazykový model spracúva, zvyčajne časť slova, krátke slovo alebo interpunkčné znamienko. Modely čítajú vstupy a generujú odpovede token po tokene a aj veľkosť kontextového okna sa meria v tokenoch. Keďže poskytovatelia účtujú vstupné a výstupné tokeny, tokeny priamo určujú náklady a limity: dlhé pokyny a rozsiahle podkladové znalosti zvyšujú spotrebu.

Ako pomáha KI.ordo

KI.ordo zobrazuje spotrebu tokenov a náklady podľa modelu a umožňuje nastaviť mesačný limit tokenov.

Zistiť viac

Témy

LLM
Náklady
Základ

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo

← Všetky pojmy

Súvisiace pojmy

Náklady na LLM

Náklady na veľké jazykové modely sa zvyčajne účtujú za token, teda textové jednotky veľké zhruba ako slabika až slovo; vstupné a výstupné tokeny sa oceňujú osobitne, pričom výstup je spravidla drahší. Väčšie modely stoja na token viac než malé, rýchle modely, ako je Claude Haiku, ktoré na jednoduché úlohy často stačia. Prompt caching znižuje náklady, keď sa opakovane posiela ten istý dlhý kontext. Pomáhajú aj stručné pokyny a starostlivo vybrané znalosti.

Náklady
Tokens
+1

Veľký jazykový model (LLM)

Veľký jazykový model (LLM, large language model) je neurónová sieť natrénovaná na veľmi veľkom množstve textu, vďaka čomu rozumie jazyku a dokáže ho tvoriť. Funguje tak, že krok za krokom vypočítava najpravdepodobnejší nasledujúci token. LLM píšu, zhŕňajú, prekladajú, odpovedajú na otázky a generujú kód; známymi príkladmi sú Claude, GPT, Gemini a Llama. Bez prístupu k aktuálnym zdrojom vedia len to, čo bolo v ich trénovacích údajoch.

jazykové modely
generatívna AI
+1

Generovanie rozšírené o cache (CAG)

Generovanie rozšírené o cache (cache-augmented generation, CAG) je prístup, pri ktorom jazykový model nevyhľadáva znalosti pri každej otázke. Namiesto toho sa prehľadná znalostná báza vopred načíta do jeho kontextového okna a tento stav sa uloží do vyrovnávacej pamäte, takže odpovede nepotrebujú samostatný krok vyhľadávania. Pojem spopularizovala výskumná práca z konca roka 2024 ako alternatívu ku generovaniu rozšírenému o vyhľadávanie (RAG). CAG sa hodí pre malé, stabilné znalostné bázy; pri veľkých alebo často sa meniacich údajoch zostáva RAG zvyčajne praktickejší.

RAG
Kontextové okno
+1