Glosārijs

Dokumentu pārkārtošana (reranking)

Kas ir Dokumentu pārkārtošana (reranking)?

Dokumentu pārkārtošana ir otrais šķirošanas solis meklēšanas un RAG sistēmās: ātra sākotnējā meklēšana atgriež kandidātu rezultātu kopu, ko precīzāka, bet dārgāka metode pēc tam pārkārto pēc atbilstības. To bieži veic tā sauktais krustenkoderis (cross-encoder), kas jautājumu un fragmentu vērtē kopā. Rezultātā atbilstošākie fragmenti nonāk augšgalā, pirms valodas modelis no tiem formulē atbildi.

Kā palīdz KI.ordo

KI.ordo zināšanu meklēšana sakārto fragmentus pēc atbilstības ar BM25 atslēgvārdu metodi tieši serverī.

Uzzināt vairāk

Tēmas

meklēšana
RAG
atbilstība

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo

← Visi termini

Saistītie termini

Ar izgūšanu papildināta ģenerēšana (RAG)

Ar izgūšanu papildināta ģenerēšana apvieno meklēšanu ar teksta ģenerēšanu: pirms atbildes sniegšanas sistēma zināšanu krājumā — piemēram, rokasgrāmatās, politikās vai BUJ — meklē atbilstošus fragmentus un nodod tos valodas modelim kā kontekstu. Tādējādi atbilde balstās uz aktuālu, uzņēmumam raksturīgu saturu, nevis tikai uz modeļa apmācības zināšanām. Tas samazina izdomātus apgalvojumus, padara avotus izsekojamus un ļauj atjaunināt bez atkārtotas apmācības.

RAG
zināšanu meklēšana
+1

Informācijas izguve

Informācijas izguve aptver metodes, kas lielā tekstu apjomā atrod dokumentus vai fragmentus, kuri atbilst vaicājumam, un sakārto tos pēc atbilstības. Klasiskas pieejas, piemēram, BM25, meklēšanas terminiem piešķir svaru pēc tā, cik bieži un cik reti tie sastopami; jaunākas pievieno semantisko līdzību. Tā ir meklētājprogrammu, uzņēmuma meklēšanas un ar izguvi papildinātās ģenerēšanas pamatā, kurā valodas modelis izgūtos fragmentus izmanto kā atbildes pamatu.

Meklēšana
BM25
+1

Izgūšanas konveijers

Izgūšanas konveijers ir apstrādes soļu secība, ko sistēma izmanto, lai atrastu pareizo informāciju jautājumam. Tipiski soļi ir: dokumentu ielāde un tīrīšana, sadalīšana fragmentos, meklēšanas indeksa izveide, pēc izvēles vaicājuma pārformulēšana, atbilstību izgūšana, to sakārtošana (pārrangēšana) un labāko nodošana valodas modelim. Tas ir katras RAG lietojumprogrammas pamats, un tā kvalitāte lielā mērā nosaka, cik labas ir iegūtās atbildes.

RAG
meklēšana
+1

Dokumentu novērtēšana (RAG)

Ar izguvi papildinātajā ģenerēšanā (RAG) dokumentu novērtēšana nozīmē izgūto fragmentu pārbaudi, vai tie atbilst jautājumam un var pamatot atbildi. Valodas modelim tiek nodoti tikai fragmenti, kas novērtēti kā atbilstoši; nepiemēroti rezultāti tiek atmesti vai izraisa jaunu meklēšanu. Tas mazina risku saņemt izdomātas vai nepareizi pamatotas atbildes, piemēram, ja uz jautājumu par aktuālajām cenām parādās novecojis dokuments.

RAG
atbilstība
+1