Glosārijs

Izgūšanas konveijers

Kas ir Izgūšanas konveijers?

Izgūšanas konveijers ir apstrādes soļu secība, ko sistēma izmanto, lai atrastu pareizo informāciju jautājumam. Tipiski soļi ir: dokumentu ielāde un tīrīšana, sadalīšana fragmentos, meklēšanas indeksa izveide, pēc izvēles vaicājuma pārformulēšana, atbilstību izgūšana, to sakārtošana (pārrangēšana) un labāko nodošana valodas modelim. Tas ir katras RAG lietojumprogrammas pamats, un tā kvalitāte lielā mērā nosaka, cik labas ir iegūtās atbildes.

Kā palīdz KI.ordo

KI.ordo saglabātās zināšanas tiek sadalītas pārklājošos fragmentos un meklētas ar BM25 atslēgvārdu meklēšanu tieši serverī — bez vektoru datubāzes.

Uzzināt vairāk

Tēmas

RAG
meklēšana
datu apstrāde

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo

← Visi termini

Saistītie termini

Ar izgūšanu papildināta ģenerēšana (RAG)

Ar izgūšanu papildināta ģenerēšana apvieno meklēšanu ar teksta ģenerēšanu: pirms atbildes sniegšanas sistēma zināšanu krājumā — piemēram, rokasgrāmatās, politikās vai BUJ — meklē atbilstošus fragmentus un nodod tos valodas modelim kā kontekstu. Tādējādi atbilde balstās uz aktuālu, uzņēmumam raksturīgu saturu, nevis tikai uz modeļa apmācības zināšanām. Tas samazina izdomātus apgalvojumus, padara avotus izsekojamus un ļauj atjaunināt bez atkārtotas apmācības.

RAG
zināšanu meklēšana
+1

Dokumentu pārkārtošana (reranking)

Dokumentu pārkārtošana ir otrais šķirošanas solis meklēšanas un RAG sistēmās: ātra sākotnējā meklēšana atgriež kandidātu rezultātu kopu, ko precīzāka, bet dārgāka metode pēc tam pārkārto pēc atbilstības. To bieži veic tā sauktais krustenkoderis (cross-encoder), kas jautājumu un fragmentu vērtē kopā. Rezultātā atbilstošākie fragmenti nonāk augšgalā, pirms valodas modelis no tiem formulē atbildi.

meklēšana
RAG
+1

Vaicājuma paplašināšana

Vaicājuma paplašināšana automātiski pievieno meklēšanas vaicājumam saistītus terminus, lai tiktu atrasti arī atbilstoši dokumenti, kuros izmantots citāds formulējums. Tipiski papildinājumi ir sinonīmi, saīsinājumi, vārdu formas vai tulkojumi: meklējot „atcelšana”, var atrast arī tekstus par „līguma izbeigšanu”. Tas ir īpaši noderīgi atslēgvārdu meklēšanā, taču var samazināt precizitāti, ja tiek pievienots pārāk daudz vai nepiemērotu terminu. Mūsdienās paplašinātos vaicājumus bieži ģenerē ar valodas modeļiem.

meklēšana
sinonīmi
+1

Informācijas izguve

Informācijas izguve aptver metodes, kas lielā tekstu apjomā atrod dokumentus vai fragmentus, kuri atbilst vaicājumam, un sakārto tos pēc atbilstības. Klasiskas pieejas, piemēram, BM25, meklēšanas terminiem piešķir svaru pēc tā, cik bieži un cik reti tie sastopami; jaunākas pievieno semantisko līdzību. Tā ir meklētājprogrammu, uzņēmuma meklēšanas un ar izguvi papildinātās ģenerēšanas pamatā, kurā valodas modelis izgūtos fragmentus izmanto kā atbildes pamatu.

Meklēšana
BM25
+1