Pojmovnik

Token

Što je Token?

Token je najmanja jedinica teksta koju jezični model obrađuje, obično dio riječi, kratka riječ ili interpunkcijski znak. Modeli čitaju ulaze i generiraju odgovore token po token, a i veličina kontekstnog prozora mjeri se u tokenima. Budući da pružatelji naplaćuju ulazne i izlazne tokene, tokeni izravno određuju troškove i ograničenja: dugačke upute i opsežno pozadinsko znanje povećavaju potrošnju.

Kako KI.ordo pomaže

KI.ordo prikazuje potrošnju tokena i troškove po modelu te omogućuje postavljanje mjesečnog ograničenja tokena.

Saznajte više

Teme

LLM
Troškovi
Osnove

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo

← Svi pojmovi

Srodni pojmovi

Troškovi LLM-a

Troškovi velikih jezičnih modela obično se naplaćuju po tokenu, tj. tekstualnim jedinicama veličine otprilike od sloga do riječi; ulazni i izlazni tokeni imaju zasebne cijene, a izlaz je općenito skuplji. Veći modeli koštaju više po tokenu od malih, brzih modela poput Claude Haikua, koji su za jednostavne zadatke često dovoljni. Prompt caching snižava troškove kada se isti dugi kontekst šalje opetovano. Pomažu i sažete upute i pažljivo odabrano znanje.

Troškovi
Tokens
+1

Veliki jezični model (LLM)

Veliki jezični model (LLM) neuronska je mreža trenirana na vrlo velikim količinama teksta, zahvaljujući čemu može razumjeti i generirati jezik. Radi tako da korak po korak izračunava najvjerojatniji sljedeći token. LLM-ovi pišu, sažimaju, prevode, odgovaraju na pitanja i generiraju kod; poznati primjeri su Claude, GPT, Gemini i Llama. Bez pristupa aktualnim izvorima znaju samo ono što je bilo u njihovim podacima za treniranje.

Jezični modeli
Generativna UI
+1

Generiranje obogaćeno predmemorijom (CAG)

Generiranje obogaćeno predmemorijom (CAG) pristup je u kojem jezični model ne pretražuje znanje pri svakom pitanju. Umjesto toga, pregledna baza znanja unaprijed se učitava u njegov kontekstni prozor i to se stanje pohranjuje u predmemoriju, tako da odgovori ne zahtijevaju zaseban korak dohvaćanja. Pojam je populariziran istraživačkim radom s kraja 2024. kao alternativa generiranju obogaćenom dohvaćanjem (RAG). CAG je prikladan za male, stabilne baze znanja; za velike ili često promjenjive podatke RAG je obično i dalje praktičniji.

RAG
Kontekstni prozor
+1