Terminų žodynas

Token

Kas yra Token?

Tokenas – mažiausias teksto vienetas, kurį apdoroja kalbos modelis, paprastai žodžio dalis, trumpas žodis ar skyrybos ženklas. Modeliai skaito įvestį ir generuoja atsakymus token po tokeno, o ir konteksto lango dydis matuojamas tokenais. Kadangi tiekėjai už įvesties ir išvesties tokenus ima mokestį, tokenai tiesiogiai lemia išlaidas ir ribas: ilgi nurodymai ir plačios foninės žinios didina sąnaudas.

Kaip padeda KI.ordo

KI.ordo rodo tokenų sąnaudas ir išlaidas pagal modelį ir leidžia nustatyti mėnesio tokenų limitą.

Sužinoti daugiau

Temos

LLM
Išlaidos
Pagrindai

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją

← Visi terminai

Susiję terminai

LLM sąnaudos

Didelių kalbos modelių sąnaudos paprastai skaičiuojamos už tokeną, t. y. teksto vienetus, maždaug nuo skiemens iki žodžio dydžio; įvesties ir išvesties tokenai kainuojami atskirai, išvestis paprastai brangesnė. Didesni modeliai už tokeną kainuoja daugiau nei maži, greiti modeliai, tokie kaip „Claude Haiku“, kurių dažnai pakanka paprastoms užduotims. Užklausų talpyklos naudojimas (prompt caching) mažina sąnaudas, kai ta pati ilga aplinka siunčiama pakartotinai. Padeda ir glausti nurodymai bei kruopščiai parinktos žinios.

Išlaidos
Tokens
+1

Didysis kalbos modelis (LLM)

Didysis kalbos modelis (angl. large language model, LLM) – tai neuroninis tinklas, apmokytas su labai dideliais teksto kiekiais, todėl gebantis suprasti ir generuoti kalbą. Jis veikia žingsnis po žingsnio skaičiuodamas labiausiai tikėtiną kitą tokeną. LLM rašo, apibendrina, verčia, atsako į klausimus ir generuoja kodą; gerai žinomi pavyzdžiai – „Claude“, GPT, „Gemini“ ir „Llama“. Neturėdami prieigos prie aktualių šaltinių, jie žino tik tai, kas buvo jų mokymo duomenyse.

kalbos modeliai
generatyvinis DI
+1

Talpykla papildytas generavimas (CAG)

Talpykla papildytas generavimas (CAG) – metodas, kai kalbos modelis neieško žinių su kiekvienu klausimu. Vietoj to nedidelė žinių bazė iš anksto įkeliama į jo konteksto langą, o ši būsena išsaugoma talpykloje, todėl atsakymams nereikia atskiro paieškos žingsnio. Terminą išpopuliarino 2024 m. pabaigos mokslinis straipsnis kaip alternatyvą paieška papildytam generavimui (RAG). CAG tinka mažoms, stabilioms žinių bazėms; dideliems ar dažnai besikeičiantiems duomenims RAG paprastai lieka praktiškesnis.

RAG
Konteksto langas
+1