Słownik pojęć

Potok wyszukiwania (retrieval pipeline)

Czym jest Potok wyszukiwania (retrieval pipeline)?

Potok wyszukiwania to sekwencja kroków przetwarzania, za pomocą których system znajduje właściwe informacje do pytania. Typowe kroki to: pobieranie i czyszczenie dokumentów, dzielenie ich na fragmenty (chunki), budowa indeksu wyszukiwania, ewentualnie przeformułowanie zapytania, pobranie dopasowań, ich uszeregowanie (reranking) i przekazanie najlepszych modelowi językowemu. Jest fundamentem każdej aplikacji RAG, a jego jakość w dużej mierze decyduje o tym, jak dobre są uzyskiwane odpowiedzi.

Jak pomaga KI.ordo

W KI.ordo zapisana wiedza jest dzielona na nakładające się fragmenty i przeszukiwana za pomocą wyszukiwania po słowach kluczowych BM25 bezpośrednio na serwerze – bez wektorowej bazy danych.

Dowiedz się więcej

Tematy

RAG
wyszukiwanie
przetwarzanie danych

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

Generowanie wspomagane wyszukiwaniem (RAG)

Generowanie wspomagane wyszukiwaniem łączy wyszukiwanie z generowaniem tekstu: przed udzieleniem odpowiedzi system przeszukuje zbiór wiedzy – na przykład instrukcje, regulaminy wewnętrzne lub FAQ – w poszukiwaniu istotnych fragmentów i przekazuje je modelowi językowemu jako kontekst. Odpowiedź opiera się więc na aktualnych treściach specyficznych dla firmy, a nie wyłącznie na wiedzy treningowej modelu. Ogranicza to zmyślone stwierdzenia, umożliwia prześledzenie źródeł i pozwala na aktualizacje bez ponownego trenowania.

RAG
wyszukiwanie wiedzy
+1

Reranking dokumentów

Reranking dokumentów to drugi krok sortowania w systemach wyszukiwania i RAG: szybkie wyszukiwanie początkowe zwraca zbiór kandydatów, który następnie dokładniejsza, ale bardziej kosztowna metoda porządkuje na nowo według trafności. Często robi to tak zwany cross-encoder, który ocenia pytanie i fragment łącznie. Dzięki temu najtrafniejsze fragmenty znajdują się na górze, zanim model językowy sformułuje na ich podstawie odpowiedź.

wyszukiwanie
RAG
+1

Rozszerzanie zapytań

Rozszerzanie zapytań automatycznie dodaje do zapytania pokrewne terminy, aby znaleźć także istotne dokumenty używające innego słownictwa. Typowe uzupełnienia to synonimy, skróty, formy wyrazów lub tłumaczenia: wyszukiwanie hasła „rezygnacja” może wtedy znaleźć także teksty o „wypowiedzeniu umowy”. Jest to szczególnie przydatne w wyszukiwaniu po słowach kluczowych, ale może obniżyć precyzję, jeśli doda się zbyt wiele lub nieodpowiednie terminy. Dziś do generowania rozszerzonych zapytań często używa się modeli językowych.

wyszukiwanie
synonimy
+1

Wyszukiwanie informacji (information retrieval)

Wyszukiwanie informacji (information retrieval) obejmuje metody znajdowania w dużym zbiorze tekstów dokumentów lub fragmentów pasujących do zapytania i porządkowania ich według trafności. Klasyczne podejścia, takie jak BM25, ważą szukane terminy według tego, jak często i jak rzadko występują; nowsze dodają podobieństwo semantyczne. Stanowi podstawę wyszukiwarek, wyszukiwania korporacyjnego i generowania wspomaganego wyszukiwaniem, w którym model językowy wykorzystuje znalezione fragmenty jako podstawę odpowiedzi.

Wyszukiwanie
BM25
+1