Sanasto

Dokumenttien uudelleenjärjestely (reranking)

Mikä on Dokumenttien uudelleenjärjestely (reranking)?

Dokumenttien reranking on haku- ja RAG-järjestelmien toinen lajitteluvaihe: nopea alkuhaku palauttaa joukon ehdokastuloksia, jotka tarkempi mutta raskaampi menetelmä järjestää sitten uudelleen relevanssin mukaan. Tämän tekee usein niin sanottu cross-encoder, joka arvioi kysymystä ja tekstikohtaa yhdessä. Tuloksena olennaisimmat kohdat päätyvät kärkeen, ennen kuin kielimalli muotoilee niistä vastauksen.

Miten KI.ordo auttaa

KI.ordon tietohaku järjestää tekstikohdat relevanssin mukaan BM25-avainsanamenetelmällä suoraan palvelimella.

Lue lisää

Aiheet

haku
RAG
relevanssi

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

Hakuvahvistettu generointi (RAG)

Hakuvahvistettu generointi (retrieval-augmented generation) yhdistää haun ja tekstin tuottamisen: ennen vastaamista järjestelmä hakee tietokokoelmasta – esimerkiksi käsikirjoista, ohjeistuksista tai UKK:sta – asiaankuuluvia kohtia ja välittää ne kielimallille kontekstina. Vastaus perustuu siten ajantasaiseen, yrityskohtaiseen sisältöön eikä pelkästään mallin opetustietoon. Tämä vähentää keksittyjä väitteitä, tekee lähteistä jäljitettäviä ja mahdollistaa päivitykset ilman uudelleenopetusta.

RAG
tietämyshaku
+1

Tiedonhaku

Tiedonhaku kattaa menetelmät, jotka löytävät suuresta tekstimassasta kyselyyn sopivat dokumentit tai tekstikohdat ja järjestävät ne relevanssin mukaan. Klassiset lähestymistavat, kuten BM25, painottavat hakutermejä sen mukaan, kuinka usein ja kuinka harvoin ne esiintyvät; uudemmat lisäävät semanttisen samankaltaisuuden. Se on hakukoneiden, yrityshaun ja hakuun perustuvan generoinnin perusta, jossa kielimalli käyttää haettuja tekstikohtia vastauksensa pohjana.

Haku
BM25
+1

Hakuputki

Hakuputki (retrieval pipeline) on järjestelmän käyttämä käsittelyvaiheiden sarja, jolla se löytää oikeat tiedot kysymykseen. Tyypillisiä vaiheita ovat: asiakirjojen tuonti ja puhdistus, jakaminen osiin (chunk), hakuindeksin rakentaminen, tarvittaessa kyselyn uudelleenmuotoilu, osumien haku, niiden järjestäminen (reranking) ja parhaiden välittäminen kielimallille. Se on jokaisen RAG-sovelluksen perusta, ja sen laatu määrittää pitkälti, kuinka hyviä vastauksia saadaan.

RAG
haku
+1

Dokumenttien arviointi (RAG)

Hakuun perustuvassa generoinnissa (RAG) dokumenttien arviointi tarkoittaa haettujen tekstikohtien tarkistamista sen selvittämiseksi, vastaavatko ne kysymystä ja voivatko ne tukea vastausta. Kielimallille välitetään vain relevantiksi arvioidut kohdat; sopimattomat tulokset hylätään tai ne käynnistävät uuden haun. Tämä vähentää keksittyjen tai väärin perustuvien vastausten riskiä, esimerkiksi kun ajantasaisia hintoja koskevaan kysymykseen löytyy vanhentunut dokumentti.

RAG
relevanssi
+1