Was ist Cache Augmented Generation (CAG)?
Cache Augmented Generation (CAG) ist ein Ansatz, bei dem ein Sprachmodell das benötigte Wissen nicht bei jeder Frage neu sucht, sondern den gesamten, überschaubaren Wissensbestand vorab in sein Kontextfenster lädt und diesen Zustand zwischenspeichert. Antworten entstehen dann ohne separaten Suchschritt. Der Begriff wurde Ende 2024 in einer Forschungsarbeit als Alternative zu Retrieval-Augmented Generation (RAG) bekannt. CAG eignet sich für kleinere, stabile Wissensbestände; bei großen oder häufig wechselnden Daten bleibt RAG meist praktikabler.
So hilft KI.ordo
KI.ordo nutzt für das Wissen eine BM25-Stichwortsuche auf dem Server und speichert wiederkehrende Anfragebestandteile per Prompt Caching zwischen, um Kosten zu senken.
Mehr erfahren →: Cache Augmented Generation (CAG)