Glosārijs

Token

Kas ir Token?

Tokens ir mazākā teksta vienība, ko valodas modelis apstrādā, parasti vārda daļa, īss vārds vai pieturzīme. Modeļi nolasa ievadi un ģenerē atbildes token pa tokenam, un arī konteksta loga izmēru mēra tokenos. Tā kā pakalpojumu sniedzēji iekasē maksu par ievades un izvades tokeniem, tokeni tieši nosaka izmaksas un ierobežojumus: gari norādījumi un plašas fona zināšanas palielina patēriņu.

Kā palīdz KI.ordo

KI.ordo rāda tokenu patēriņu un izmaksas pa modeļiem un ļauj iestatīt mēneša tokenu limitu.

Uzzināt vairāk

Tēmas

LLM
Izmaksas
Pamati

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo

← Visi termini

Saistītie termini

LLM izmaksas

Lielo valodas modeļu izmaksas parasti tiek rēķinātas par tokenu, proti, teksta vienībām, kuru izmērs ir aptuveni no zilbes līdz vārdam; ievades un izvades tokeni tiek cenoti atsevišķi, izvade parasti ir dārgāka. Lielāki modeļi izmaksā vairāk par tokenu nekā mazi, ātri modeļi, piemēram, Claude Haiku, kas vienkāršiem uzdevumiem bieži vien ir pietiekami. Uzvedņu kešatmiņa (prompt caching) samazina izmaksas, ja viens un tas pats garais konteksts tiek sūtīts atkārtoti. Palīdz arī kodolīgi norādījumi un rūpīgi atlasītas zināšanas.

Izmaksas
Tokens
+1

Lielais valodas modelis (LLM)

Lielais valodas modelis (LLM) ir neironu tīkls, kas apmācīts ar ļoti lieliem teksta apjomiem, tāpēc spēj saprast un ģenerēt valodu. Tas darbojas, soli pa solim aprēķinot visticamāko nākamo tokenu. LLM raksta, apkopo, tulko, atbild uz jautājumiem un ģenerē kodu; plaši zināmi piemēri ir Claude, GPT, Gemini un Llama. Bez piekļuves aktuāliem avotiem tie zina tikai to, kas bija to apmācības datos.

Valodas modeļi
Ģeneratīvais MI
+1

Kešatmiņā papildināta ģenerēšana (CAG)

Kešatmiņā papildināta ģenerēšana (cache-augmented generation, CAG) ir pieeja, kurā valodas modelis nemeklē zināšanas pie katra jautājuma. Tā vietā pārskatāma zināšanu bāze tiek iepriekš ielādēta tā konteksta logā un šis stāvoklis tiek saglabāts kešatmiņā, tāpēc atbildēm nav vajadzīgs atsevišķs izguves solis. Terminu popularizēja 2024. gada beigās publicēts pētījums kā alternatīvu izguvē papildinātai ģenerēšanai (RAG). CAG ir piemērota mazām, stabilām zināšanu bāzēm; lieliem vai bieži mainīgiem datiem RAG parasti joprojām ir praktiskāka.

RAG
Konteksta logs
+1