Słownik pojęć

Cache-augmented generation (CAG)

Czym jest Cache-augmented generation (CAG)?

Cache-augmented generation (CAG) to podejście, w którym model językowy nie wyszukuje wiedzy przy każdym pytaniu. Zamiast tego niewielka baza wiedzy jest z góry ładowana do jego okna kontekstowego, a ten stan zostaje zapisany w pamięci podręcznej, dzięki czemu odpowiedzi nie wymagają osobnego kroku wyszukiwania. Termin ten spopularyzowała praca badawcza z końca 2024 roku jako alternatywę dla generowania wspomaganego wyszukiwaniem (RAG). CAG sprawdza się w przypadku małych, stabilnych baz wiedzy; przy dużych lub często zmieniających się danych RAG pozostaje zazwyczaj bardziej praktyczny.

Jak pomaga KI.ordo

Do obsługi wiedzy KI.ordo wykorzystuje na serwerze wyszukiwanie słów kluczowych BM25, a powtarzające się elementy promptów zapisuje w pamięci podręcznej za pomocą prompt caching, aby obniżyć koszty.

Dowiedz się więcej

Tematy

RAG
Okno kontekstowe
Zarządzanie wiedzą

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

Generowanie wspomagane wyszukiwaniem (RAG)

Generowanie wspomagane wyszukiwaniem łączy wyszukiwanie z generowaniem tekstu: przed udzieleniem odpowiedzi system przeszukuje zbiór wiedzy – na przykład instrukcje, regulaminy wewnętrzne lub FAQ – w poszukiwaniu istotnych fragmentów i przekazuje je modelowi językowemu jako kontekst. Odpowiedź opiera się więc na aktualnych treściach specyficznych dla firmy, a nie wyłącznie na wiedzy treningowej modelu. Ogranicza to zmyślone stwierdzenia, umożliwia prześledzenie źródeł i pozwala na aktualizacje bez ponownego trenowania.

RAG
wyszukiwanie wiedzy
+1

Duży model językowy (LLM)

Duży model językowy (LLM) to sieć neuronowa wytrenowana na bardzo dużych ilościach tekstu, dzięki czemu potrafi rozumieć i generować język. Działa, obliczając krok po kroku najbardziej prawdopodobny kolejny token. LLM-y piszą, streszczają, tłumaczą, odpowiadają na pytania i generują kod; znane przykłady to Claude, GPT, Gemini i Llama. Bez dostępu do aktualnych źródeł wiedzą tylko to, co znajdowało się w ich danych treningowych.

modele językowe
generatywna AI
+1

Potok wyszukiwania (retrieval pipeline)

Potok wyszukiwania to sekwencja kroków przetwarzania, za pomocą których system znajduje właściwe informacje do pytania. Typowe kroki to: pobieranie i czyszczenie dokumentów, dzielenie ich na fragmenty (chunki), budowa indeksu wyszukiwania, ewentualnie przeformułowanie zapytania, pobranie dopasowań, ich uszeregowanie (reranking) i przekazanie najlepszych modelowi językowemu. Jest fundamentem każdej aplikacji RAG, a jego jakość w dużej mierze decyduje o tym, jak dobre są uzyskiwane odpowiedzi.

RAG
wyszukiwanie
+1

Wyszukiwanie informacji (information retrieval)

Wyszukiwanie informacji (information retrieval) obejmuje metody znajdowania w dużym zbiorze tekstów dokumentów lub fragmentów pasujących do zapytania i porządkowania ich według trafności. Klasyczne podejścia, takie jak BM25, ważą szukane terminy według tego, jak często i jak rzadko występują; nowsze dodają podobieństwo semantyczne. Stanowi podstawę wyszukiwarek, wyszukiwania korporacyjnego i generowania wspomaganego wyszukiwaniem, w którym model językowy wykorzystuje znalezione fragmenty jako podstawę odpowiedzi.

Wyszukiwanie
BM25
+1