Sõnastik

Token

Mis on Token?

Token on väikseim tekstiühik, mida keelemudel töötleb, tavaliselt sõna osa, lühike sõna või kirjavahemärk. Mudelid loevad sisendeid ja genereerivad vastuseid token haaval ning ka kontekstiakna suurust mõõdetakse tokenites. Kuna pakkujad arvestavad sisend- ja väljundtokenite eest tasu, määravad tokenid otseselt kulud ja piirangud: pikad juhised ja ulatuslikud taustateadmised suurendavad tarbimist.

Kuidas KI.ordo aitab

KI.ordo näitab tokenite tarbimist ja kulusid mudelite kaupa ning võimaldab määrata igakuise tokenilimiidi.

Loe lähemalt

Teemad

LLM
Kulud
Põhivõimalused

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot

← Kõik terminid

Seotud terminid

LLM-i kulud

Suurte keelemudelite eest arveldatakse tavaliselt tokenite alusel, st tekstiühikute järgi, mille suurus on ligikaudu silbist sõnani; sisend- ja väljundtokenitel on eraldi hind ning väljund on üldiselt kallim. Suuremad mudelid maksavad tokeni kohta rohkem kui väikesed, kiired mudelid nagu Claude Haiku, mis sageli lihtsate ülesannete jaoks piisavad. Prompt caching (promptide vahemällu salvestamine) vähendab kulusid, kui sama pikka konteksti saadetakse korduvalt. Abiks on ka lühikesed juhised ja hoolikalt valitud teadmised.

Kulud
Tokens
+1

Suur keelemudel (LLM)

Suur keelemudel (large language model, LLM) on närvivõrk, mis on treenitud väga suurte tekstihulkadega, mis võimaldab sellel keelest aru saada ja keelt luua. See töötab, arvutades samm-sammult kõige tõenäolisema järgmise tokeni. LLM-id kirjutavad, võtavad kokku, tõlgivad, vastavad küsimustele ja genereerivad koodi; tuntud näited on Claude, GPT, Gemini ja Llama. Ilma juurdepääsuta värsketele allikatele teavad nad ainult seda, mis oli nende treeningandmetes.

Keelemudelid
Generatiivne TI
+1

Vahemäluga täiendatud genereerimine (CAG)

Vahemäluga täiendatud genereerimine (cache-augmented generation, CAG) on lähenemisviis, mille puhul keelemudel ei otsi teadmisi iga küsimusega. Selle asemel laaditakse ülevaatlik teadmistebaas eelnevalt selle kontekstiaknasse ja see olek salvestatakse vahemällu, nii et vastused ei vaja eraldi otsingusammu. Mõiste muutis populaarseks 2024. aasta lõpu teadusartikkel alternatiivina otsinguga täiendatud genereerimisele (RAG). CAG sobib väikestele ja stabiilsetele teadmistebaasidele; suurte või sageli muutuvate andmete puhul jääb RAG tavaliselt praktilisemaks.

RAG
Kontekstiaken
+1