Sanasto

Hakuputki

Mikä on Hakuputki?

Hakuputki (retrieval pipeline) on järjestelmän käyttämä käsittelyvaiheiden sarja, jolla se löytää oikeat tiedot kysymykseen. Tyypillisiä vaiheita ovat: asiakirjojen tuonti ja puhdistus, jakaminen osiin (chunk), hakuindeksin rakentaminen, tarvittaessa kyselyn uudelleenmuotoilu, osumien haku, niiden järjestäminen (reranking) ja parhaiden välittäminen kielimallille. Se on jokaisen RAG-sovelluksen perusta, ja sen laatu määrittää pitkälti, kuinka hyviä vastauksia saadaan.

Miten KI.ordo auttaa

KI.ordossa tallennettu tietämys jaetaan limittäisiin osiin ja sitä haetaan BM25-avainsanahaulla suoraan palvelimella – ilman vektoritietokantaa.

Lue lisää

Aiheet

RAG
haku
datan käsittely

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

Hakuvahvistettu generointi (RAG)

Hakuvahvistettu generointi (retrieval-augmented generation) yhdistää haun ja tekstin tuottamisen: ennen vastaamista järjestelmä hakee tietokokoelmasta – esimerkiksi käsikirjoista, ohjeistuksista tai UKK:sta – asiaankuuluvia kohtia ja välittää ne kielimallille kontekstina. Vastaus perustuu siten ajantasaiseen, yrityskohtaiseen sisältöön eikä pelkästään mallin opetustietoon. Tämä vähentää keksittyjä väitteitä, tekee lähteistä jäljitettäviä ja mahdollistaa päivitykset ilman uudelleenopetusta.

RAG
tietämyshaku
+1

Dokumenttien uudelleenjärjestely (reranking)

Dokumenttien reranking on haku- ja RAG-järjestelmien toinen lajitteluvaihe: nopea alkuhaku palauttaa joukon ehdokastuloksia, jotka tarkempi mutta raskaampi menetelmä järjestää sitten uudelleen relevanssin mukaan. Tämän tekee usein niin sanottu cross-encoder, joka arvioi kysymystä ja tekstikohtaa yhdessä. Tuloksena olennaisimmat kohdat päätyvät kärkeen, ennen kuin kielimalli muotoilee niistä vastauksen.

haku
RAG
+1

Hakukyselyn laajennus

Hakukyselyn laajennus (query expansion) lisää hakuun automaattisesti lähitermejä, jotta löytyvät myös ne asiaankuuluvat asiakirjat, joissa käytetään eri sanamuotoa. Tyypillisiä lisäyksiä ovat synonyymit, lyhenteet, sanamuodot tai käännökset: haku sanalla ”peruutus” voisi tällöin löytää myös tekstejä, joissa puhutaan ”sopimuksen irtisanomisesta”. Tämä on erityisen hyödyllistä avainsanahaussa, mutta se voi heikentää tarkkuutta, jos lisätään liian monta tai sopimatonta termiä. Nykyään laajennetut kyselyt tuotetaan usein kielimallien avulla.

haku
synonyymit
+1

Tiedonhaku

Tiedonhaku kattaa menetelmät, jotka löytävät suuresta tekstimassasta kyselyyn sopivat dokumentit tai tekstikohdat ja järjestävät ne relevanssin mukaan. Klassiset lähestymistavat, kuten BM25, painottavat hakutermejä sen mukaan, kuinka usein ja kuinka harvoin ne esiintyvät; uudemmat lisäävät semanttisen samankaltaisuuden. Se on hakukoneiden, yrityshaun ja hakuun perustuvan generoinnin perusta, jossa kielimalli käyttää haettuja tekstikohtia vastauksensa pohjana.

Haku
BM25
+1