Sanasto

Token

Mikä on Token?

Token on pienin tekstiyksikkö, jota kielimalli käsittelee, yleensä sanan osa, lyhyt sana tai välimerkki. Mallit lukevat syötteet ja tuottavat vastaukset token kerrallaan, ja kontekstikin koko mitataan tokeneina. Koska tarjoajat veloittavat syöte- ja tulostetokeneista, tokenit määräävät suoraan kustannukset ja rajat: pitkät ohjeet ja laaja taustatieto lisäävät kulutusta.

Miten KI.ordo auttaa

KI.ordo näyttää tokenien kulutuksen ja kustannukset mallikohtaisesti ja antaa asettaa kuukausittaisen tokenirajan.

Lue lisää

Aiheet

LLM
Kustannukset
Perusominaisuudet

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

LLM-kustannukset

Suurten kielimallien kustannukset laskutetaan yleensä tokeneittain eli tekstiyksiköinä, jotka ovat suunnilleen tavun ja sanan kokoisia; syöte- ja tulostetokenit hinnoitellaan erikseen, ja tuloste on yleensä kalliimpi. Suuremmat mallit maksavat tokenia kohden enemmän kuin pienet, nopeat mallit, kuten Claude Haiku, jotka riittävät usein yksinkertaisiin tehtäviin. Kehotteiden välimuisti (prompt caching) alentaa kustannuksia, kun samaa pitkää kontekstia lähetetään toistuvasti. Myös ytimekkäät ohjeet ja huolella valittu tietämys auttavat.

Kustannukset
Tokens
+1

Suuri kielimalli (LLM)

Suuri kielimalli (LLM) on neuroverkko, joka on koulutettu hyvin suurilla tekstimäärillä, jotta se ymmärtää ja tuottaa kieltä. Se toimii laskemalla askel askeleelta todennäköisimmän seuraavan tokenin. LLM:t kirjoittavat, tiivistävät, kääntävät, vastaavat kysymyksiin ja tuottavat koodia; tunnettuja esimerkkejä ovat Claude, GPT, Gemini ja Llama. Ilman pääsyä ajankohtaisiin lähteisiin ne tietävät vain sen, mitä niiden koulutusdatassa oli.

kielimallit
generatiivinen tekoäly
+1

Välimuistilla tehostettu generointi (CAG)

Välimuistilla tehostettu generointi (cache-augmented generation, CAG) on lähestymistapa, jossa kielimalli ei hae tietoa jokaisen kysymyksen yhteydessä. Sen sijaan hallittavan kokoinen tietopohja ladataan etukäteen mallin kontekstiikkunaan ja tämä tila tallennetaan välimuistiin, joten vastaukset eivät vaadi erillistä hakuvaihetta. Termin teki tunnetuksi vuoden 2024 lopulla julkaistu tutkimusartikkeli vaihtoehtona hakuun perustuvalle generoinnille (RAG). CAG sopii pieniin ja vakaisiin tietopohjiin; suurille tai usein muuttuville aineistoille RAG on yleensä käytännöllisempi.

RAG
Kontekstiikkuna
+1