Sõnastik

Vahemäluga täiendatud genereerimine (CAG)

Mis on Vahemäluga täiendatud genereerimine (CAG)?

Vahemäluga täiendatud genereerimine (cache-augmented generation, CAG) on lähenemisviis, mille puhul keelemudel ei otsi teadmisi iga küsimusega. Selle asemel laaditakse ülevaatlik teadmistebaas eelnevalt selle kontekstiaknasse ja see olek salvestatakse vahemällu, nii et vastused ei vaja eraldi otsingusammu. Mõiste muutis populaarseks 2024. aasta lõpu teadusartikkel alternatiivina otsinguga täiendatud genereerimisele (RAG). CAG sobib väikestele ja stabiilsetele teadmistebaasidele; suurte või sageli muutuvate andmete puhul jääb RAG tavaliselt praktilisemaks.

Kuidas KI.ordo aitab

Teadmiste jaoks kasutab KI.ordo serveris BM25 märksõnaotsingut ja salvestab korduvad juhiste osad kulude vähendamiseks prompt caching’u abil vahemällu.

Loe lähemalt

Teemad

RAG
Kontekstiaken
Teadmusjuhtimine

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot

← Kõik terminid

Seotud terminid

Otsinguga täiendatud genereerimine (RAG)

Otsinguga täiendatud genereerimine (retrieval-augmented generation) ühendab otsingu ja tekstigenereerimise: enne vastamist otsib süsteem teadmiste kogumikust – näiteks käsiraamatutest, reeglitest või KKK-st – asjakohaseid lõike ja annab need keelemudelile kontekstina. Vastus põhineb seega ajakohasel, ettevõttespetsiifilisel sisul, mitte ainult mudeli treeningteadmistel. See vähendab väljamõeldud väiteid, muudab allikad jälgitavaks ja võimaldab värskendusi ilma ümberõppeta.

RAG
teadmiste otsing
+1

Suur keelemudel (LLM)

Suur keelemudel (large language model, LLM) on närvivõrk, mis on treenitud väga suurte tekstihulkadega, mis võimaldab sellel keelest aru saada ja keelt luua. See töötab, arvutades samm-sammult kõige tõenäolisema järgmise tokeni. LLM-id kirjutavad, võtavad kokku, tõlgivad, vastavad küsimustele ja genereerivad koodi; tuntud näited on Claude, GPT, Gemini ja Llama. Ilma juurdepääsuta värsketele allikatele teavad nad ainult seda, mis oli nende treeningandmetes.

Keelemudelid
Generatiivne TI
+1

Otsingu töövoog (retrieval pipeline)

Otsingu töövoog (retrieval pipeline) on töötlemissammude jada, mille abil süsteem leiab küsimusele sobiva teabe. Tüüpilised sammud on: dokumentide sisestamine ja puhastamine, jagamine lõikudeks, otsinguindeksi ehitamine, soovi korral päringu ümbersõnastamine, vastete leidmine, nende järjestamine (reranking) ja parimate edastamine keelemudelile. See on iga RAG-rakenduse alus ning selle kvaliteet määrab suuresti, kui head vastused tulevad.

RAG
otsing
+1

Infootsing

Infootsing hõlmab meetodeid, mis leiavad suurest tekstihulgast päringule vastavad dokumendid või lõigud ja järjestavad need olulisuse järgi. Klassikalised lähenemised, nagu BM25, kaalutlevad otsingutermineid selle järgi, kui sageli ja kui harva need esinevad; uuemad lisavad semantilise sarnasuse. See on otsingumootorite, ettevõttesisese otsingu ja otsingupõhise genereerimise (RAG) aluseks, kus keelemudel kasutab leitud lõike oma vastuse alusena.

Otsing
BM25
+1