Речник

Token

Какво е Token?

Токенът е най-малката единица текст, която обработва един езиков модел, обикновено част от дума, къса дума или препинателен знак. Моделите четат входните данни и генерират отговорите токен по токен, а размерът на контекстния прозорец също се измерва в токени. Тъй като доставчиците таксуват входните и изходните токени, токените пряко определят разходите и ограниченията: дългите инструкции и обширните базови знания увеличават консумацията.

Как помага KI.ordo

KI.ordo показва консумацията на токени и разходите по модел и Ви позволява да зададете месечен лимит на токените.

Научете повече

Теми

LLM
Разходи
Основни функции

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Разходи за LLM

Разходите за големи езикови модели обикновено се таксуват на токен, т.е. текстови единици с размер от приблизително сричка до дума; входните и изходните токени се оценяват поотделно, като изходните обикновено са по-скъпи. По-големите модели струват повече на токен от малките, бързи модели като Claude Haiku, които често са достатъчни за прости задачи. Кеширането на промптове намалява разходите, когато един и същ дълъг контекст се изпраща многократно. Помагат и кратките инструкции и грижливо подбраните знания.

Разходи
Tokens
+1

Голям езиков модел (LLM)

Големият езиков модел (large language model, LLM) е невронна мрежа, обучена върху много големи количества текст, която може да разбира и генерира език. Работи, като стъпка по стъпка изчислява най-вероятния следващ токен. LLM пишат, обобщават, превеждат, отговарят на въпроси и генерират код; известни примери са Claude, GPT, Gemini и Llama. Без достъп до актуални източници те знаят само онова, което е било в обучителните им данни.

Езикови модели
Генеративен ИИ
+1

Генериране, допълнено с кеш (CAG)

Генерирането, допълнено с кеш (cache-augmented generation, CAG), е подход, при който езиковият модел не търси знания при всеки въпрос. Вместо това обозрима база от знания се зарежда предварително в контекстния му прозорец и това състояние се кешира, така че отговорите не изискват отделна стъпка на извличане. Терминът е популяризиран от научна статия от края на 2024 г. като алтернатива на генерирането, допълнено с извличане (RAG). CAG е подходящо за малки, стабилни бази от знания; при големи или често променящи се данни RAG обикновено остава по-практично.

RAG
Контекстен прозорец
+1