Costi degli LLM

Che cos’è Costi degli LLM?

I costi dei grandi modelli linguistici sono di solito calcolati per token, cioè unità di testo che vanno da una sillaba a una parola; token di input e di output hanno prezzi separati e l'output è in genere più caro. I modelli più grandi costano di più per token rispetto a modelli piccoli e veloci come Claude Haiku, spesso sufficienti per compiti semplici. Il prompt caching riduce i costi quando lo stesso lungo contesto viene inviato più volte. Aiutano anche istruzioni concise e conoscenze selezionate con cura.