Sanasto

Sanaupotukset

Mikä on Sanaupotukset?

Sanaupotukset (word embeddings) esittävät sanat numeerisina vektoreina niin, että samankaltaista tarkoittavat sanat, kuten ”auto” ja ”ajoneuvo”, sijaitsevat vektoriavaruudessa lähellä toisiaan. Menetelmät, kuten Word2Vec tai GloVe, oppivat nämä vektorit suurista tekstimääristä. Ne olivat tärkeä askel kielenkäsittelyssä, esimerkiksi haussa tai luokittelussa; nykyiset kielimallit käyttävät kontekstuaalisia upotuksia, joissa sana esitetään eri tavoin lauseesta riippuen.

Miten KI.ordo auttaa

KI.ordon tietämyshaku ei käytä upotuksia vaan BM25-avainsanahakua suoraan palvelimella.

Aiheet

NLP
Vektorit
Semantiikka

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

Upotusvektori (embedding)

Upotusvektori (embedding) on lukulista, joka esittää sanan, lauseen tai dokumentin merkityksen niin, että sisällöltään samankaltaiset tekstit sijaitsevat lähellä toisiaan. Tämän ansiosta voidaan tunnistaa esimerkiksi, että ”irtisanominen” ja ”sopimuksen päättäminen” liittyvät toisiinsa, vaikka niillä ei ole yhteisiä sanoja. Upotukset ovat monien semanttisten hakujärjestelmien, suositusjärjestelmien ja RAG-sovellusten perusta; ne lasketaan erityisesti koulutetuilla malleilla.

vektori
semanttinen haku
+1

Gensim

Gensim on avoimen lähdekoodin Python-kirjasto suurten tekstikokoelmien analysointiin. Se tunnetaan aihemalleista, kuten LDA:sta, sanavektorien kouluttamisesta (esimerkiksi Word2Vec, FastText ja Doc2Vec) ja dokumenttien vertailusta samankaltaisuuden perusteella. Koska Gensim käsittelee dataa osissa, se selviää myös korpuksista, jotka eivät mahdu muistiin. Tyypillinen käyttö: tuhansien asiakaspalautteiden automaattinen ryhmittely toistuvien teemojen mukaan.

Python-kirjasto
aihemallinnus
+1

Luonnollisen kielen käsittely (NLP)

Luonnollisen kielen käsittely on tekoälyn osa-alue, joka mahdollistaa tietokoneiden analysoida, ymmärtää ja tuottaa ihmiskieltä tekstinä tai puheena. Se kattaa tehtäviä, kuten kääntäminen, luokittelu, tiivistäminen, sentimenttianalyysi ja kysymyksiin vastaaminen. Aiemmin vallitsivat sääntö- ja tilastomenetelmät; nykyään alaa muovaavat suuret kielimallit.

NLP
Kieli
+1

Semanttinen analyysi

Semanttinen analyysi tutkii kielen merkitystä – ei vain sitä, mitä sanoja esiintyy, vaan sitä, mitä tarkoitetaan. Siihen kuuluu monitulkintaisten sanojen tulkitseminen oikein yhteydessään (esimerkiksi ”pankki” rahalaitoksena tai penkkana), käsitteiden välisten suhteiden tunnistaminen ja väitteiden luokittelu sisällön mukaan. Se on perustana sovelluksille, kuten asiakaspalautteen analysointi, kysymyksiin vastaaminen tai hakujärjestelmät, joiden tulee ymmärtää myös eri tavoin muotoillut, samaa tarkoittavat kyselyt.

NLP
merkitys
+1