Ordlista

Retrieval-pipeline

Vad är Retrieval-pipeline?

En retrieval-pipeline är den sekvens av bearbetningssteg som ett system använder för att hitta rätt information för en fråga. Typiska steg är: inläsning och rensning av dokument, uppdelning i delar (chunks), uppbyggnad av ett sökindex, eventuell omskrivning av frågan, hämtning av träffar, rangordning (reranking) och överlämning av de bästa till språkmodellen. Den är grunden i varje RAG-applikation, och dess kvalitet avgör till stor del hur bra svaren blir.

Så hjälper KI.ordo

I KI.ordo delas lagrad kunskap upp i överlappande delar (chunks) som söks med nyckelordssökning med BM25 direkt på servern – utan vektordatabas.

Läs mer

Ämnen

RAG
sökning
databearbetning

Prova KI.ordo

Agenter, flöden och mallar i en arbetsyta – gratis demo i 24 timmar.

Starta demo

← Alla begrepp

Relaterade begrepp

Retrieval-augmented generation (RAG)

Retrieval-augmented generation kombinerar sökning med textgenerering: innan systemet svarar söker det i en kunskapssamling – som manualer, policyer eller vanliga frågor – efter relevanta avsnitt och skickar dem som sammanhang till språkmodellen. Svaret bygger därmed på aktuellt, företagsspecifikt innehåll i stället för enbart på modellens träningskunskap. Det minskar påhittade påståenden, gör källor spårbara och möjliggör uppdateringar utan omträning.

RAG
kunskapssökning
+1

Omrankning av dokument (document reranking)

Omrankning av dokument är ett andra sorteringssteg i sök- och RAG-system: en snabb första sökning returnerar en uppsättning kandidatträffar, som en mer exakt men dyrare metod sedan sorterar om efter relevans. Det görs ofta av en så kallad cross-encoder som bedömer frågan och ett stycke tillsammans. Därmed hamnar de mest relevanta styckena överst innan en språkmodell formulerar ett svar utifrån dem.

sökning
RAG
+1

Frågeexpansion

Frågeexpansion lägger automatiskt till relaterade termer i en sökfråga så att relevanta dokument som använder andra formuleringar också hittas. Typiska tillägg är synonymer, förkortningar, ordformer eller översättningar: en sökning på ”uppsägning” kan då också hitta texter om ”avtalsupplösning”. Det är särskilt användbart vid nyckelordssökning, men kan minska precisionen om för många eller olämpliga termer läggs till. I dag används ofta språkmodeller för att generera de utökade frågorna.

sökning
synonymer
+1

Informationssökning (information retrieval)

Informationssökning omfattar metoder som hittar de dokument eller stycken i en stor textmängd som motsvarar en fråga och rangordnar dem efter relevans. Klassiska ansatser som BM25 viktar söktermer efter hur ofta och hur sällan de förekommer; nyare lägger till semantisk likhet. Den ligger till grund för sökmotorer, företagssök och retrieval-augmented generation, där en språkmodell använder de hämtade styckena som underlag för sitt svar.

Sökning
BM25
+1