Sõnastik

Otsingu töövoog (retrieval pipeline)

Mis on Otsingu töövoog (retrieval pipeline)?

Otsingu töövoog (retrieval pipeline) on töötlemissammude jada, mille abil süsteem leiab küsimusele sobiva teabe. Tüüpilised sammud on: dokumentide sisestamine ja puhastamine, jagamine lõikudeks, otsinguindeksi ehitamine, soovi korral päringu ümbersõnastamine, vastete leidmine, nende järjestamine (reranking) ja parimate edastamine keelemudelile. See on iga RAG-rakenduse alus ning selle kvaliteet määrab suuresti, kui head vastused tulevad.

Kuidas KI.ordo aitab

KI.ordo-s jagatakse salvestatud teadmised kattuvateks lõikudeks ja neid otsitakse BM25 märksõnaotsinguga otse serveris – ilma vektorandmebaasita.

Loe lähemalt

Teemad

RAG
otsing
andmetöötlus

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot

← Kõik terminid

Seotud terminid

Otsinguga täiendatud genereerimine (RAG)

Otsinguga täiendatud genereerimine (retrieval-augmented generation) ühendab otsingu ja tekstigenereerimise: enne vastamist otsib süsteem teadmiste kogumikust – näiteks käsiraamatutest, reeglitest või KKK-st – asjakohaseid lõike ja annab need keelemudelile kontekstina. Vastus põhineb seega ajakohasel, ettevõttespetsiifilisel sisul, mitte ainult mudeli treeningteadmistel. See vähendab väljamõeldud väiteid, muudab allikad jälgitavaks ja võimaldab värskendusi ilma ümberõppeta.

RAG
teadmiste otsing
+1

Dokumentide ümberjärjestamine

Dokumentide ümberjärjestamine (reranking) on otsingu- ja RAG-süsteemide teine sorteerimissamm: kiire esmane otsing annab hulga kandidaattulemusi, mille täpsem, kuid kulukam meetod seejärel olulisuse järgi ümber järjestab. Seda teeb sageli nn ristkodeerija (cross-encoder), mis hindab küsimust ja lõiku koos. Tulemusena jõuavad kõige olulisemad lõigud esikohale, enne kui keelemudel neist vastuse sõnastab.

otsing
RAG
+1

Päringu laiendamine

Päringu laiendamine lisab otsingupäringule automaatselt seotud termineid, et leitaks ka asjakohased dokumendid, mis kasutavad teistsugust sõnastust. Tüüpilised lisandid on sünonüümid, lühendid, sõnavormid või tõlked: otsing „tühistamine“ võib siis leida ka tekste teemal „lepingu lõpetamine“. See on eriti kasulik märksõnaotsingus, kuid võib vähendada täpsust, kui lisatakse liiga palju või sobimatuid termineid. Tänapäeval kasutatakse laiendatud päringute loomiseks sageli keelemudeleid.

otsing
sünonüümid
+1

Infootsing

Infootsing hõlmab meetodeid, mis leiavad suurest tekstihulgast päringule vastavad dokumendid või lõigud ja järjestavad need olulisuse järgi. Klassikalised lähenemised, nagu BM25, kaalutlevad otsingutermineid selle järgi, kui sageli ja kui harva need esinevad; uuemad lisavad semantilise sarnasuse. See on otsingumootorite, ettevõttesisese otsingu ja otsingupõhise genereerimise (RAG) aluseks, kus keelemudel kasutab leitud lõike oma vastuse alusena.

Otsing
BM25
+1