Terminų žodynas

Paieškos grandinė

Kas yra Paieškos grandinė?

Paieškos grandinė (angl. retrieval pipeline) – apdorojimo žingsnių seka, kuria sistema suranda tinkamą informaciją klausimui. Tipiniai žingsniai: dokumentų įkėlimas ir valymas, skaidymas į fragmentus, paieškos indekso kūrimas, pasirinktinai užklausos perrašymas, atitikmenų paieška, jų reitingavimas (reranking) ir geriausių perdavimas kalbos modeliui. Tai kiekvienos RAG programos pagrindas, o jos kokybė daugiausia lemia, kokie geri bus atsakymai.

Kaip padeda KI.ordo

KI.ordo saugomos žinios skaidomos į persidengiančius fragmentus ir ieškoma BM25 raktažodžių paieška tiesiai serveryje – be vektorių duomenų bazės.

Sužinoti daugiau

Temos

RAG
paieška
duomenų apdorojimas

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją

← Visi terminai

Susiję terminai

Papildyta paieškos generacija (RAG)

Papildyta paieškos generacija (angl. retrieval-augmented generation) sujungia paiešką su tekstų generavimu: prieš atsakydama sistema žinių rinkinyje – pavyzdžiui, instrukcijose, taisyklėse ar DUK – ieško svarbių ištraukų ir perduoda jas kalbos modeliui kaip kontekstą. Todėl atsakymas remiasi aktualiu, įmonei specifiniu turiniu, o ne tik modelio mokymo žiniomis. Tai sumažina išgalvotus teiginius, leidžia atsekti šaltinius ir atnaujinti turinį be permokymo.

RAG
žinių paieška
+1

Dokumentų perrikiavimas (reranking)

Dokumentų perrikiavimas – tai antrasis rūšiavimo žingsnis paieškos ir RAG sistemose: greita pradinė paieška grąžina kandidatų rezultatų rinkinį, kurį tikslesnis, bet brangesnis metodas paskui perrikiuoja pagal aktualumą. Tai dažnai daro vadinamasis kryžminis kodavimo modelis (cross-encoder), vertinantis klausimą ir ištrauką kartu. Dėl to aktualiausios ištraukos atsiduria viršuje, kol kalbos modelis iš jų formuluoja atsakymą.

paieška
RAG
+1

Užklausos išplėtimas

Užklausos išplėtimas automatiškai prideda susijusių terminų prie paieškos užklausos, kad būtų rasti ir kitaip suformuluoti svarbūs dokumentai. Tipiniai papildymai: sinonimai, santrumpos, žodžių formos ar vertimai: ieškant „atšaukimas“ gali būti rasti ir tekstai apie „sutarties nutraukimą“. Tai ypač naudinga ieškant pagal raktažodžius, tačiau pridėjus per daug ar netinkamų terminų gali sumažėti tikslumas. Šiandien išplėstoms užklausoms generuoti dažnai naudojami kalbos modeliai.

paieška
sinonimai
+1

Informacijos paieška (information retrieval)

Informacijos paieška apima metodus, kurie dideliame teksto kiekyje randa užklausą atitinkančius dokumentus ar ištraukas ir surikiuoja jas pagal aktualumą. Klasikiniai metodai, tokie kaip BM25, paieškos terminus sveria pagal tai, kaip dažnai ir kaip retai jie pasitaiko; naujesni prideda semantinį panašumą. Ji yra paieškos sistemų, įmonių paieškos ir paieška papildyto generavimo pagrindas, kai kalbos modelis rastas ištraukas naudoja kaip atsakymo pagrindą.

Paieška
BM25
+1