Fogalomtár

Gyorsítótárral bővített generálás (CAG)

Mi a(z) Gyorsítótárral bővített generálás (CAG)?

A gyorsítótárral bővített generálás (cache-augmented generation, CAG) olyan megközelítés, amelyben a nyelvi modell nem keres tudást minden egyes kérdésnél. Ehelyett egy áttekinthető méretű tudásbázist előre betöltenek a kontextusablakába, és ezt az állapotot gyorsítótárazzák, így a válaszokhoz nincs szükség külön visszakeresési lépésre. A kifejezést egy 2024 végi kutatási tanulmány tette népszerűvé a visszakereséssel bővített generálás (RAG) alternatívájaként. A CAG kis, stabil tudásbázisokhoz illik; nagy vagy gyakran változó adatok esetén általában a RAG marad a praktikusabb.

Így segít a KI.ordo

A tudáshoz a KI.ordo a szerveren BM25 kulcsszavas keresést használ, a visszatérő utasításelemeket pedig prompt cachinggel gyorsítótárazza a költségek csökkentése érdekében.

További információ

Témák

RAG
Kontextusablak
Tudásmenedzsment

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

Visszakeresésalapú generálás (RAG)

A visszakeresésalapú generálás a keresést a szöveggeneráláshoz kapcsolja: a válasz előtt a rendszer egy tudásgyűjteményben – például kézikönyvekben, irányelvekben vagy GYIK-ekben – releváns részleteket keres, és ezeket kontextusként átadja a nyelvi modellnek. A válasz így naprakész, vállalatspecifikus tartalmakon alapul, nem csak a modell tanítási tudásán. Ez csökkenti a kitalált állításokat, nyomon követhetővé teszi a forrásokat, és újratanítás nélküli frissítést tesz lehetővé.

RAG
tudáskeresés
+1

Nagy nyelvi modell (LLM)

A nagy nyelvi modell (LLM) egy nagyon nagy szövegmennyiségen betanított neurális háló, amely képes a nyelv megértésére és előállítására. Úgy működik, hogy lépésről lépésre kiszámítja a legvalószínűbb következő tokent. Az LLM-ek írnak, összefoglalnak, fordítanak, kérdésekre válaszolnak és kódot generálnak; ismert példák a Claude, a GPT, a Gemini és a Llama. Aktuális források elérése nélkül csak azt tudják, ami a tanítóadataikban szerepelt.

nyelvi modellek
generatív MI
+1

Visszakeresési folyamat (retrieval pipeline)

A visszakeresési folyamat azoknak a feldolgozási lépéseknek a sorozata, amelyekkel a rendszer egy kérdéshez megtalálja a megfelelő információt. Tipikus lépések: a dokumentumok beolvasása és megtisztítása, darabokra (chunk) bontása, keresési index építése, adott esetben a lekérdezés átfogalmazása, a találatok lekérése, rangsorolása (reranking), majd a legjobbak átadása a nyelvi modellnek. Ez minden RAG-alkalmazás alapja, és minősége nagyban meghatározza, mennyire jók lesznek a válaszok.

RAG
keresés
+1

Információkeresés

Az információkeresés (information retrieval) azokat a módszereket foglalja magában, amelyek egy nagy szövegállományban megtalálják a lekérdezésnek megfelelő dokumentumokat vagy szövegrészleteket, és relevancia szerint rangsorolják őket. A klasszikus megközelítések, például a BM25, a keresőszavakat aszerint súlyozzák, milyen gyakran és milyen ritkán fordulnak elő; az újabbak szemantikus hasonlóságot is bevonnak. Ez áll a keresőmotorok, a vállalati keresés és a visszakeresésalapú generálás mögött, amelyben egy nyelvi modell a visszakeresett részleteket használja válasza alapjául.

Keresés
BM25
+1