Ordliste

Token

Hvad er Token?

Et token er den mindste tekstenhed, en sprogmodel behandler, som regel en del af et ord, et kort ord eller et tegnsætningstegn. Modeller læser input og genererer svar token for token, og størrelsen på kontekstvinduet måles også i tokens. Fordi udbydere tager betaling for input- og output-tokens, bestemmer tokens direkte omkostninger og grænser: lange instruktioner og omfattende baggrundsviden øger forbruget.

Sådan hjælper KI.ordo

KI.ordo viser tokenforbrug og omkostninger pr. model og lader dig fastsætte en månedlig tokengrænse.

Læs mere

Emner

LLM
Omkostninger
Grundlæggende

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo

← Alle begreber

Relaterede begreber

LLM-omkostninger

Omkostningerne ved store sprogmodeller afregnes som regel pr. token, dvs. tekstenheder på størrelse med en stavelse til et ord; input- og outputtokens prissættes hver for sig, og output er generelt dyrere. Større modeller koster mere pr. token end små, hurtige modeller som Claude Haiku, der ofte er tilstrækkelige til enkle opgaver. Prompt caching sænker omkostningerne, når den samme lange kontekst sendes gentagne gange. Korte instruktioner og omhyggeligt udvalgt viden hjælper også.

Omkostninger
Tokens
+1

Stor sprogmodel (LLM)

En stor sprogmodel (large language model, LLM) er et neuralt netværk, der er trænet på meget store tekstmængder, så det kan forstå og generere sprog. Den fungerer ved trin for trin at beregne det mest sandsynlige næste token. LLM'er skriver, opsummerer, oversætter, besvarer spørgsmål og genererer kode; kendte eksempler er Claude, GPT, Gemini og Llama. Uden adgang til aktuelle kilder ved de kun det, der stod i deres træningsdata.

Sprogmodeller
Generativ AI
+1

Cache-augmented generation (CAG)

Cache-augmented generation (CAG) er en tilgang, hvor en sprogmodel ikke søger efter viden ved hvert spørgsmål. I stedet indlæses en overskuelig videnbase på forhånd i modellens kontekstvindue, og denne tilstand caches, så svarene ikke kræver et separat søgetrin. Begrebet blev udbredt af en forskningsartikel fra slutningen af 2024 som et alternativ til retrieval-augmented generation (RAG). CAG egner sig til små, stabile videnbaser; ved store eller hyppigt skiftende data er RAG som regel stadig mere praktisk.

RAG
Kontekstvindue
+1