Ce este Generare augmentată prin cache (CAG)?
Generarea augmentată prin cache (CAG) este o abordare în care un model lingvistic nu caută cunoștințe la fiecare întrebare. În schimb, o bază de cunoștințe de dimensiuni rezonabile este încărcată în avans în fereastra sa de context, iar această stare este stocată în cache, astfel încât răspunsurile nu necesită un pas separat de regăsire. Termenul a fost popularizat de o lucrare de cercetare de la sfârșitul anului 2024, ca alternativă la generarea augmentată prin regăsire (RAG). CAG se potrivește bazelor de cunoștințe mici și stabile; pentru date mari sau care se schimbă frecvent, RAG rămâne de obicei mai practic.
Cum ajută KI.ordo
Pentru cunoștințe, KI.ordo utilizează pe server căutarea după cuvinte-cheie BM25 și stochează în cache componentele recurente ale prompturilor prin prompt caching, pentru a reduce costurile.
Aflați mai multe : Generare augmentată prin cache (CAG)