Ordlista

Token

Vad är Token?

En token är den minsta textenhet som en språkmodell bearbetar, oftast en del av ett ord, ett kort ord eller ett skiljetecken. Modeller läser indata och genererar svar token för token, och storleken på kontextfönstret mäts också i tokens. Eftersom leverantörer tar betalt för indata- och utdatatokens avgör tokens direkt kostnader och begränsningar: långa instruktioner och omfattande bakgrundskunskap ökar förbrukningen.

Så hjälper KI.ordo

KI.ordo visar tokenförbrukning och kostnader per modell och låter dig ställa in en månatlig tokengräns.

Läs mer

Ämnen

LLM
Kostnader
Grunder

Prova KI.ordo

Agenter, flöden och mallar i en arbetsyta – gratis demo i 24 timmar.

Starta demo

← Alla begrepp

Relaterade begrepp

LLM-kostnader

Kostnaderna för stora språkmodeller faktureras vanligtvis per token, det vill säga texthelheter ungefär lika stora som en stavelse till ett ord; tokens för indata och utdata prissätts separat, där utdata i regel är dyrare. Större modeller kostar mer per token än små, snabba modeller som Claude Haiku, vilka ofta räcker för enkla uppgifter. Promptcachning sänker kostnaderna när samma långa kontext skickas upprepade gånger. Koncisa instruktioner och noga utvald kunskap hjälper också.

Kostnader
Tokens
+1

Stor språkmodell (LLM)

En stor språkmodell (large language model, LLM) är ett neuralt nätverk som tränats på mycket stora textmängder och därmed kan förstå och generera språk. Den fungerar genom att steg för steg beräkna den mest sannolika nästa token. LLM:er skriver, sammanfattar, översätter, besvarar frågor och genererar kod; kända exempel är Claude, GPT, Gemini och Llama. Utan tillgång till aktuella källor vet de bara det som fanns i deras träningsdata.

Språkmodeller
Generativ AI
+1

Cache-augmented generation (CAG)

Cache-augmented generation (CAG) är ett tillvägagångssätt där en språkmodell inte söker efter kunskap vid varje fråga. I stället läses en hanterbar kunskapsbas in i dess kontextfönster i förväg och det tillståndet cachelagras, så att svaren inte kräver något separat hämtningssteg. Begreppet populariserades av en forskningsartikel från slutet av 2024 som ett alternativ till retrieval-augmented generation (RAG). CAG passar för små, stabila kunskapsbaser; för stora eller ofta föränderliga data är RAG oftast fortfarande mer praktiskt.

RAG
Kontextfönster
+1