Slovník pojmov

Retrieval pipeline

Čo je Retrieval pipeline?

Retrieval pipeline je postupnosť spracovateľských krokov, ktorými systém nájde správne informácie na zodpovedanie otázky. Typické kroky sú: načítanie a vyčistenie dokumentov, ich rozdelenie na úseky (chunky), vytvorenie vyhľadávacieho indexu, prípadne preformulovanie dopytu, vyhľadanie zhôd, ich zoradenie (reranking) a odovzdanie tých najlepších jazykovému modelu. Je základom každej aplikácie RAG a jej kvalita vo veľkej miere určuje, aké dobré budú výsledné odpovede.

Ako pomáha KI.ordo

V KI.ordo sa uložené znalosti rozdeľujú na prekrývajúce sa úseky a prehľadávajú sa vyhľadávaním podľa kľúčových slov BM25 priamo na serveri – bez vektorovej databázy.

Zistiť viac

Témy

RAG
vyhľadávanie
spracovanie údajov

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo

← Všetky pojmy

Súvisiace pojmy

Retrieval-augmented generation (RAG)

Retrieval-augmented generation spája vyhľadávanie s generovaním textu: pred odpoveďou systém vyhľadá relevantné pasáže v zbierke znalostí – napríklad v príručkách, smerniciach alebo FAQ – a odovzdá ich jazykovému modelu ako kontext. Odpoveď tak vychádza z aktuálneho obsahu špecifického pre firmu, a nielen z trénovacích znalostí modelu. Znižuje to vymyslené tvrdenia, zviditeľňuje zdroje a umožňuje aktualizácie bez pretrénovania.

RAG
vyhľadávanie v znalostiach
+1

Prehodnotenie poradia dokumentov (reranking)

Prehodnotenie poradia dokumentov (reranking) je druhý krok triedenia vo vyhľadávacích systémoch a systémoch RAG: rýchle úvodné vyhľadávanie vráti množinu kandidátskych výsledkov, ktoré potom presnejšia, ale nákladnejšia metóda zoradí podľa relevantnosti. Často to robí takzvaný cross-encoder, ktorý posudzuje otázku a úryvok spoločne. Vďaka tomu sú najrelevantnejšie úryvky navrchu skôr, než z nich jazykový model sformuluje odpoveď.

vyhľadávanie
RAG
+1

Rozšírenie dopytu

Rozšírenie dopytu automaticky pridáva k vyhľadávaciemu dopytu súvisiace pojmy, aby sa našli aj relevantné dokumenty, ktoré používajú iné formulácie. Typickými doplnkami sú synonymá, skratky, tvary slov alebo preklady: vyhľadávanie „storno“ tak môže nájsť aj texty o „vypovedaní zmluvy“. Je to užitočné najmä pri vyhľadávaní podľa kľúčových slov, no môže to znížiť presnosť, ak sa pridá priveľa alebo nevhodné pojmy. Dnes sa na tvorbu rozšírených dopytov často používajú jazykové modely.

vyhľadávanie
synonymá
+1

Vyhľadávanie informácií (information retrieval)

Vyhľadávanie informácií (information retrieval) zahŕňa metódy, ktoré vo veľkom súbore textov nájdu dokumenty alebo úryvky zodpovedajúce dopytu a zoradia ich podľa relevantnosti. Klasické prístupy, ako je BM25, váhujú hľadané výrazy podľa toho, ako často a ako zriedka sa vyskytujú; novšie pridávajú sémantickú podobnosť. Tvorí základ vyhľadávačov, podnikového vyhľadávania a generovania rozšíreného o vyhľadávanie (RAG), pri ktorom jazykový model používa nájdené úryvky ako základ svojej odpovede.

Vyhľadávanie
BM25
+1