Sõnastik

Dokumentide ümberjärjestamine

Mis on Dokumentide ümberjärjestamine?

Dokumentide ümberjärjestamine (reranking) on otsingu- ja RAG-süsteemide teine sorteerimissamm: kiire esmane otsing annab hulga kandidaattulemusi, mille täpsem, kuid kulukam meetod seejärel olulisuse järgi ümber järjestab. Seda teeb sageli nn ristkodeerija (cross-encoder), mis hindab küsimust ja lõiku koos. Tulemusena jõuavad kõige olulisemad lõigud esikohale, enne kui keelemudel neist vastuse sõnastab.

Kuidas KI.ordo aitab

KI.ordo teadmisteotsing järjestab lõigud olulisuse järgi BM25 märksõnameetodiga otse serveris.

Loe lähemalt

Teemad

otsing
RAG
olulisus

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot

← Kõik terminid

Seotud terminid

Otsinguga täiendatud genereerimine (RAG)

Otsinguga täiendatud genereerimine (retrieval-augmented generation) ühendab otsingu ja tekstigenereerimise: enne vastamist otsib süsteem teadmiste kogumikust – näiteks käsiraamatutest, reeglitest või KKK-st – asjakohaseid lõike ja annab need keelemudelile kontekstina. Vastus põhineb seega ajakohasel, ettevõttespetsiifilisel sisul, mitte ainult mudeli treeningteadmistel. See vähendab väljamõeldud väiteid, muudab allikad jälgitavaks ja võimaldab värskendusi ilma ümberõppeta.

RAG
teadmiste otsing
+1

Infootsing

Infootsing hõlmab meetodeid, mis leiavad suurest tekstihulgast päringule vastavad dokumendid või lõigud ja järjestavad need olulisuse järgi. Klassikalised lähenemised, nagu BM25, kaalutlevad otsingutermineid selle järgi, kui sageli ja kui harva need esinevad; uuemad lisavad semantilise sarnasuse. See on otsingumootorite, ettevõttesisese otsingu ja otsingupõhise genereerimise (RAG) aluseks, kus keelemudel kasutab leitud lõike oma vastuse alusena.

Otsing
BM25
+1

Otsingu töövoog (retrieval pipeline)

Otsingu töövoog (retrieval pipeline) on töötlemissammude jada, mille abil süsteem leiab küsimusele sobiva teabe. Tüüpilised sammud on: dokumentide sisestamine ja puhastamine, jagamine lõikudeks, otsinguindeksi ehitamine, soovi korral päringu ümbersõnastamine, vastete leidmine, nende järjestamine (reranking) ja parimate edastamine keelemudelile. See on iga RAG-rakenduse alus ning selle kvaliteet määrab suuresti, kui head vastused tulevad.

RAG
otsing
+1

Dokumentide hindamine (RAG)

Otsingupõhise genereerimise (RAG) puhul tähendab dokumentide hindamine leitud lõikude kontrollimist, kas need vastavad küsimusele ja suudavad vastust toetada. Keelemudelile antakse edasi ainult olulisteks hinnatud lõigud; sobimatud tulemused jäetakse kõrvale või need käivitavad uue otsingu. See vähendab väljamõeldud või valesti allikastatud vastuste riski, näiteks kui küsimusele praeguste hindade kohta ilmub välja aegunud dokument.

RAG
olulisus
+1