Slovar pojmov

Generiranje, razširjeno s predpomnilnikom (CAG)

Kaj je Generiranje, razširjeno s predpomnilnikom (CAG)?

Generiranje, razširjeno s predpomnilnikom (cache-augmented generation, CAG), je pristop, pri katerem jezikovni model znanja ne išče ob vsakem vprašanju. Namesto tega se obvladljiva baza znanja vnaprej naloži v njegovo kontekstno okno in to stanje se shrani v predpomnilnik, tako da odgovori ne potrebujejo ločenega koraka pridobivanja. Izraz je populariziral raziskovalni članek s konca leta 2024 kot alternativo generiranju, razširjenemu s pridobivanjem (RAG). CAG je primeren za majhne, stabilne baze znanja; pri velikih ali pogosto spreminjajočih se podatkih ostaja RAG običajno praktičnejši.

Kako pomaga KI.ordo

Za znanje KI.ordo na strežniku uporablja iskanje po ključnih besedah BM25, ponavljajoče se dele pozivov pa s predpomnjenjem pozivov (prompt caching) shrani v predpomnilnik, da zniža stroške.

Več o tem

Teme

RAG
Kontekstno okno
Upravljanje znanja

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev

← Vsi pojmi

Sorodni pojmi

Generiranje z obogatenim priklicem (RAG)

Generiranje z obogatenim priklicem združuje iskanje z generiranjem besedil: preden sistem odgovori, v zbirki znanja – na primer priročnikih, pravilnikih ali pogostih vprašanjih – poišče ustrezne odlomke in jih kot kontekst poda jezikovnemu modelu. Odgovor tako temelji na aktualnih vsebinah podjetja in ne le na znanju modela iz učenja. To zmanjša izmišljene trditve, omogoči sledljivost virov in posodobitve brez ponovnega učenja.

RAG
iskanje po znanju
+1

Veliki jezikovni model (LLM)

Veliki jezikovni model (large language model, LLM) je nevronska mreža, naučena na zelo velikih količinah besedil, kar ji omogoča razumevanje in ustvarjanje jezika. Deluje tako, da korak za korakom izračunava najverjetnejši naslednji token. LLM-ji pišejo, povzemajo, prevajajo, odgovarjajo na vprašanja in ustvarjajo kodo; znani primeri so Claude, GPT, Gemini in Llama. Brez dostopa do aktualnih virov poznajo le tisto, kar je bilo v njihovih učnih podatkih.

Jezikovni modeli
Generativna UI
+1

Cevovod priklica

Cevovod priklica je zaporedje korakov obdelave, s katerimi sistem najde prave informacije za vprašanje. Tipični koraki so: zajem in čiščenje dokumentov, razdelitev na odseke, izgradnja iskalnega indeksa, po potrebi preoblikovanje poizvedbe, priklic zadetkov, njihovo razvrščanje (reranking) in posredovanje najboljših jezikovnemu modelu. Je temelj vsake aplikacije RAG, njegova kakovost pa v veliki meri določa, kako dobri so končni odgovori.

RAG
iskanje
+1

Iskanje informacij

Iskanje informacij zajema metode, ki v veliki zbirki besedil najdejo dokumente ali odlomke, ki ustrezajo poizvedbi, in jih razvrstijo po ustreznosti. Klasični pristopi, kot je BM25, iskalne izraze uteže glede na to, kako pogosto in kako redko se pojavljajo; novejši dodajajo pomensko podobnost. Podlaga so iskalnikom, podjetniškemu iskanju in generiranju z dopolnjevanjem iz virov, pri katerem jezikovni model najdene odlomke uporabi kot osnovo za odgovor.

Iskanje
BM25
+1