Sanasto

Upotusvektori (embedding)

Mikä on Upotusvektori (embedding)?

Upotusvektori (embedding) on lukulista, joka esittää sanan, lauseen tai dokumentin merkityksen niin, että sisällöltään samankaltaiset tekstit sijaitsevat lähellä toisiaan. Tämän ansiosta voidaan tunnistaa esimerkiksi, että ”irtisanominen” ja ”sopimuksen päättäminen” liittyvät toisiinsa, vaikka niillä ei ole yhteisiä sanoja. Upotukset ovat monien semanttisten hakujärjestelmien, suositusjärjestelmien ja RAG-sovellusten perusta; ne lasketaan erityisesti koulutetuilla malleilla.

Miten KI.ordo auttaa

KI.ordo ei käytä upotuksia tietohaussaan vaan BM25-avainsanahakua, joka ajetaan suoraan palvelimella.

Aiheet

vektori
semanttinen haku
NLP

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

Sanaupotukset

Sanaupotukset (word embeddings) esittävät sanat numeerisina vektoreina niin, että samankaltaista tarkoittavat sanat, kuten ”auto” ja ”ajoneuvo”, sijaitsevat vektoriavaruudessa lähellä toisiaan. Menetelmät, kuten Word2Vec tai GloVe, oppivat nämä vektorit suurista tekstimääristä. Ne olivat tärkeä askel kielenkäsittelyssä, esimerkiksi haussa tai luokittelussa; nykyiset kielimallit käyttävät kontekstuaalisia upotuksia, joissa sana esitetään eri tavoin lauseesta riippuen.

NLP
Vektorit
+1

Hakuvahvistettu generointi (RAG)

Hakuvahvistettu generointi (retrieval-augmented generation) yhdistää haun ja tekstin tuottamisen: ennen vastaamista järjestelmä hakee tietokokoelmasta – esimerkiksi käsikirjoista, ohjeistuksista tai UKK:sta – asiaankuuluvia kohtia ja välittää ne kielimallille kontekstina. Vastaus perustuu siten ajantasaiseen, yrityskohtaiseen sisältöön eikä pelkästään mallin opetustietoon. Tämä vähentää keksittyjä väitteitä, tekee lähteistä jäljitettäviä ja mahdollistaa päivitykset ilman uudelleenopetusta.

RAG
tietämyshaku
+1

Tiedonhaku

Tiedonhaku kattaa menetelmät, jotka löytävät suuresta tekstimassasta kyselyyn sopivat dokumentit tai tekstikohdat ja järjestävät ne relevanssin mukaan. Klassiset lähestymistavat, kuten BM25, painottavat hakutermejä sen mukaan, kuinka usein ja kuinka harvoin ne esiintyvät; uudemmat lisäävät semanttisen samankaltaisuuden. Se on hakukoneiden, yrityshaun ja hakuun perustuvan generoinnin perusta, jossa kielimalli käyttää haettuja tekstikohtia vastauksensa pohjana.

Haku
BM25
+1

Transformer

Transformer on neuroverkkoarkkitehtuuri, joka esiteltiin vuonna 2017 tutkimusartikkelissa ”Attention Is All You Need”. Sen ytimessä on huomiomekanismi: jokaista sanaa painotetaan suhteessa kaikkiin muihin tekstin sanoihin, ja laskenta voidaan rinnakkaistaa tehokkaasti. Transformerit ovat nykyisten kielimallien, kuten GPT:n, Clauden ja BERTin, perusta, ja niitä käytetään myös kuvissa ja äänessä.

Arkkitehtuuri
Syväoppiminen
+1