Wat is Cache-augmented generation (CAG)?
Cache-augmented generation (CAG) is een aanpak waarbij een taalmodel niet bij elke vraag naar kennis zoekt. In plaats daarvan wordt een overzichtelijke kennisbank vooraf in het contextvenster geladen en wordt die toestand gecachet, zodat antwoorden geen aparte zoekstap nodig hebben. De term werd populair door een onderzoeksartikel van eind 2024 als alternatief voor retrieval-augmented generation (RAG). CAG is geschikt voor kleine, stabiele kennisbanken; voor grote of vaak veranderende data blijft RAG meestal praktischer.
Hoe KI.ordo helpt
Voor kennis gebruikt KI.ordo BM25-trefwoordzoeken op de server en plaatst terugkerende onderdelen van opdrachten via prompt caching in de cache om kosten te verlagen.
Meer informatie : Cache-augmented generation (CAG)