Pojmovnik

Cjevovod dohvaćanja (retrieval pipeline)

Što je Cjevovod dohvaćanja (retrieval pipeline)?

Cjevovod dohvaćanja niz je koraka obrade kojima sustav pronalazi prave informacije za neko pitanje. Tipični koraci su: preuzimanje i čišćenje dokumenata, njihovo dijeljenje na odlomke (chunkove), izgradnja indeksa za pretraživanje, po potrebi preoblikovanje upita, dohvaćanje pogodaka, njihovo rangiranje (reranking) i prosljeđivanje najboljih jezičnom modelu. To je temelj svake RAG aplikacije, a njegova kvaliteta uvelike određuje koliko će dobri biti dobiveni odgovori.

Kako KI.ordo pomaže

U KI.ordo pohranjeno se znanje dijeli na odlomke koji se preklapaju i pretražuje pretraživanjem po ključnim riječima BM25 izravno na poslužitelju – bez vektorske baze podataka.

Saznajte više

Teme

RAG
pretraga
obrada podataka

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo

← Svi pojmovi

Srodni pojmovi

Generiranje potpomognuto dohvaćanjem (RAG)

Generiranje potpomognuto dohvaćanjem povezuje pretraživanje i generiranje teksta: prije odgovaranja sustav u zbirci znanja – primjerice priručnicima, pravilnicima ili čestim pitanjima – traži relevantne odlomke i prosljeđuje ih jezičnom modelu kao kontekst. Odgovor se tako temelji na aktualnom sadržaju specifičnom za tvrtku, a ne samo na znanju stečenom treniranjem modela. To smanjuje izmišljene tvrdnje, omogućuje praćenje izvora i dopušta ažuriranja bez ponovnog treniranja.

RAG
pretraživanje znanja
+1

Ponovno rangiranje dokumenata (reranking)

Ponovno rangiranje dokumenata (reranking) drugi je korak sortiranja u sustavima pretraživanja i RAG-a: brza početna pretraga vraća skup kandidata, koje zatim preciznija, ali skuplja metoda ponovno poredi prema relevantnosti. To često radi tzv. cross-encoder koji zajedno procjenjuje pitanje i odlomak. Zahvaljujući tome najrelevantniji odlomci završavaju na vrhu prije nego što jezični model iz njih oblikuje odgovor.

pretraga
RAG
+1

Proširenje upita (query expansion)

Proširenje upita automatski dodaje srodne pojmove pretraživačkom upitu kako bi se pronašli i relevantni dokumenti koji koriste drukčije formulacije. Tipični dodaci su sinonimi, kratice, oblici riječi ili prijevodi: pretraga za „otkaz“ tada može pronaći i tekstove o „raskidu ugovora“. To je posebno korisno za pretraživanje po ključnim riječima, ali može smanjiti preciznost ako se doda previše ili neprikladnih pojmova. Danas se za generiranje proširenih upita često koriste jezični modeli.

pretraga
sinonimi
+1

Dohvaćanje informacija (information retrieval)

Dohvaćanje informacija (information retrieval) obuhvaća metode koje u velikom korpusu teksta pronalaze dokumente ili odlomke koji odgovaraju upitu i rangiraju ih prema relevantnosti. Klasični pristupi poput BM25 ponderiraju pojmove pretrage prema tome koliko se često i koliko rijetko pojavljuju; noviji dodaju semantičku sličnost. Temelj je tražilica, pretraživanja unutar poduzeća i generiranja potpomognutog dohvaćanjem, u kojem jezični model dohvaćene odlomke koristi kao osnovu za svoj odgovor.

Pretraživanje
BM25
+1