Hvad er LLM-omkostninger?
Omkostningerne ved store sprogmodeller afregnes som regel pr. token, dvs. tekstenheder på størrelse med en stavelse til et ord; input- og outputtokens prissættes hver for sig, og output er generelt dyrere. Større modeller koster mere pr. token end små, hurtige modeller som Claude Haiku, der ofte er tilstrækkelige til enkle opgaver. Prompt caching sænker omkostningerne, når den samme lange kontekst sendes gentagne gange. Korte instruktioner og omhyggeligt udvalgt viden hjælper også.
Sådan hjælper KI.ordo
KI.ordo viser tokens og omkostninger pr. model, begrænser forbruget med en månedlig tokengrænse og en AI-kredit pr. abonnement og bruger prompt caching.
Læs mere : LLM-omkostninger