Co je Generování rozšířené o mezipaměť (CAG)?
Generování rozšířené o mezipaměť (Cache-augmented generation, CAG) je přístup, při kterém jazykový model nevyhledává znalosti u každé otázky. Místo toho se do jeho kontextového okna předem načte přehledná znalostní báze a tento stav se uloží do mezipaměti, takže odpovědi nevyžadují samostatný krok vyhledávání. Pojem zpopularizoval výzkumný článek z konce roku 2024 jako alternativu ke generování rozšířenému o vyhledávání (RAG). CAG se hodí pro malé a stabilní znalostní báze; u velkých nebo často se měnících dat zůstává RAG obvykle praktičtější.
Jak pomáhá KI.ordo
Pro znalosti KI.ordo používá na serveru vyhledávání podle klíčových slov BM25 a opakující se části zadání ukládá do mezipaměti pomocí prompt cachingu, aby snížil náklady.
Zjistit více : Generování rozšířené o mezipaměť (CAG)