Речник

Генериране, допълнено с кеш (CAG)

Какво е Генериране, допълнено с кеш (CAG)?

Генерирането, допълнено с кеш (cache-augmented generation, CAG), е подход, при който езиковият модел не търси знания при всеки въпрос. Вместо това обозрима база от знания се зарежда предварително в контекстния му прозорец и това състояние се кешира, така че отговорите не изискват отделна стъпка на извличане. Терминът е популяризиран от научна статия от края на 2024 г. като алтернатива на генерирането, допълнено с извличане (RAG). CAG е подходящо за малки, стабилни бази от знания; при големи или често променящи се данни RAG обикновено остава по-практично.

Как помага KI.ordo

За знанията KI.ordo използва търсене по ключови думи BM25 на сървъра и кешира повтарящи се части от промптовете чрез prompt caching, за да намали разходите.

Научете повече

Теми

RAG
Контекстен прозорец
Управление на знанията

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Генериране, допълнено с извличане (RAG)

Генерирането, допълнено с извличане (Retrieval-augmented generation), съчетава търсене с генериране на текст: преди да отговори, системата търси в колекция от знания – например ръководства, правилници или често задавани въпроси – подходящи пасажи и ги подава на езиковия модел като контекст. Така отговорът се основава на актуално съдържание, специфично за компанията, а не само на знанията от обучението на модела. Това намалява измислените твърдения, прави източниците проследими и позволява актуализации без повторно обучение.

RAG
търсене в знанията
+1

Голям езиков модел (LLM)

Големият езиков модел (large language model, LLM) е невронна мрежа, обучена върху много големи количества текст, която може да разбира и генерира език. Работи, като стъпка по стъпка изчислява най-вероятния следващ токен. LLM пишат, обобщават, превеждат, отговарят на въпроси и генерират код; известни примери са Claude, GPT, Gemini и Llama. Без достъп до актуални източници те знаят само онова, което е било в обучителните им данни.

Езикови модели
Генеративен ИИ
+1

Конвейер за извличане

Конвейерът за извличане (retrieval pipeline) е последователността от стъпки на обработка, с която една система намира правилната информация за даден въпрос. Типични стъпки са: приемане и почистване на документите, разделянето им на части (chunks), изграждане на индекс за търсене, при желание преформулиране на заявката, извличане на съвпаденията, подреждането им (reranking) и подаване на най-добрите към езиковия модел. Той е основата на всяко RAG приложение и качеството му до голяма степен определя колко добри ще бъдат получените отговори.

RAG
търсене
+1

Извличане на информация (information retrieval)

Извличането на информация (information retrieval) обхваща методи за намиране на документите или откъсите в голям обем текст, които съответстват на дадена заявка, и за подреждането им по релевантност. Класически подходи като BM25 претеглят термините за търсене според това колко често и колко рядко се срещат; по-новите добавят семантично сходство. То е в основата на търсачките, корпоративното търсене и retrieval-augmented generation, при което езиков модел използва извлечените откъси като основа за отговора си.

Търсене
BM25
+1