Slovar pojmov

Token

Kaj je Token?

Token je najmanjša enota besedila, ki jo obdeluje jezikovni model, običajno del besede, kratka beseda ali ločilo. Modeli vhode berejo in odgovore ustvarjajo token za tokenom, tudi velikost kontekstnega okna pa se meri v tokenih. Ker ponudniki zaračunavajo vhodne in izhodne tokene, ti neposredno določajo stroške in omejitve: dolga navodila in obsežno predznanje povečajo porabo.

Kako pomaga KI.ordo

KI.ordo prikazuje porabo tokenov in stroške po modelih ter omogoča nastavitev mesečne omejitve tokenov.

Več o tem

Teme

LLM
Stroški
Osnove

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev

← Vsi pojmi

Sorodni pojmi

Stroški LLM

Stroški velikih jezikovnih modelov se običajno obračunavajo po tokenih, tj. besedilnih enotah, ki so velike približno kot zlog do beseda; vhodni in izhodni tokeni se obračunavajo posebej, izhodni so praviloma dražji. Večji modeli stanejo na token več kot majhni, hitri modeli, kot je Claude Haiku, ki so za preprostejše naloge pogosto dovolj. Predpomnjenje ukazov (prompt caching) zniža stroške, kadar se isti dolgi kontekst pošilja večkrat. Pomagajo tudi jedrnata navodila in skrbno izbrano znanje.

Stroški
Tokens
+1

Veliki jezikovni model (LLM)

Veliki jezikovni model (large language model, LLM) je nevronska mreža, naučena na zelo velikih količinah besedil, kar ji omogoča razumevanje in ustvarjanje jezika. Deluje tako, da korak za korakom izračunava najverjetnejši naslednji token. LLM-ji pišejo, povzemajo, prevajajo, odgovarjajo na vprašanja in ustvarjajo kodo; znani primeri so Claude, GPT, Gemini in Llama. Brez dostopa do aktualnih virov poznajo le tisto, kar je bilo v njihovih učnih podatkih.

Jezikovni modeli
Generativna UI
+1

Generiranje, razširjeno s predpomnilnikom (CAG)

Generiranje, razširjeno s predpomnilnikom (cache-augmented generation, CAG), je pristop, pri katerem jezikovni model znanja ne išče ob vsakem vprašanju. Namesto tega se obvladljiva baza znanja vnaprej naloži v njegovo kontekstno okno in to stanje se shrani v predpomnilnik, tako da odgovori ne potrebujejo ločenega koraka pridobivanja. Izraz je populariziral raziskovalni članek s konca leta 2024 kot alternativo generiranju, razširjenemu s pridobivanjem (RAG). CAG je primeren za majhne, stabilne baze znanja; pri velikih ali pogosto spreminjajočih se podatkih ostaja RAG običajno praktičnejši.

RAG
Kontekstno okno
+1