Sanasto

BERT

Mikä on BERT?

BERT (Bidirectional Encoder Representations from Transformers) on Googlen vuonna 2018 esittelemä kielimalli. Toisin kuin aiemmat mallit, se huomioi sanan vasemman- ja oikeanpuoleisen kontekstin samanaikaisesti, mikä auttaa sitä ratkaisemaan monitulkintaisuuksia. BERT on suunniteltu tekstin ymmärtämiseen eikä pidempien tekstien kirjoittamiseen. Sitä käytetään hakuun, tekstinluokitteluun, nimettyjen entiteettien tunnistukseen ja kysymyksiin vastaamiseen, ja se on muovannut monia seuraajamalleja.

Aiheet

Kielimalli
NLP
Transformer

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

Transformer

Transformer on neuroverkkoarkkitehtuuri, joka esiteltiin vuonna 2017 tutkimusartikkelissa ”Attention Is All You Need”. Sen ytimessä on huomiomekanismi: jokaista sanaa painotetaan suhteessa kaikkiin muihin tekstin sanoihin, ja laskenta voidaan rinnakkaistaa tehokkaasti. Transformerit ovat nykyisten kielimallien, kuten GPT:n, Clauden ja BERTin, perusta, ja niitä käytetään myös kuvissa ja äänessä.

Arkkitehtuuri
Syväoppiminen
+1

Luonnollisen kielen ymmärtäminen (NLU)

Luonnollisen kielen ymmärtäminen on kielenkäsittelyn osa, joka tavoittaa lausuman merkityksen: mikä aikomus sen takana on, mitä henkilöitä, paikkoja tai päivämääriä mainitaan ja mikä on sävy? Yhdessä luonnollisen kielen tuottamisen (NLG) kanssa NLU muodostaa toisen NLP:n kahdesta puolesta. Esimerkki on asiakaspalvelujärjestelmä, joka tunnistaa viestin ”Pakettini ei ole vieläkään tullut” toimitustiedusteluksi.

NLP
Aikomuksen tunnistus
+1

Sanaupotukset

Sanaupotukset (word embeddings) esittävät sanat numeerisina vektoreina niin, että samankaltaista tarkoittavat sanat, kuten ”auto” ja ”ajoneuvo”, sijaitsevat vektoriavaruudessa lähellä toisiaan. Menetelmät, kuten Word2Vec tai GloVe, oppivat nämä vektorit suurista tekstimääristä. Ne olivat tärkeä askel kielenkäsittelyssä, esimerkiksi haussa tai luokittelussa; nykyiset kielimallit käyttävät kontekstuaalisia upotuksia, joissa sana esitetään eri tavoin lauseesta riippuen.

NLP
Vektorit
+1

Generatiivinen esikoulutettu transformer (GPT)

GPT (generative pre-trained transformer) viittaa OpenAI:n kehittämään suurten kielimallien sarjaan, joka perustuu transformer-arkkitehtuuriin. Mallit esikoulutetaan ensin valtavilla tekstimäärillä ennustamaan seuraava token ja koulutetaan sitten edelleen dialogiin ja ohjeiden noudattamiseen. Ensimmäinen GPT-malli julkaistiin vuonna 2018; myöhemmät sukupolvet ovat ChatGPT:n perusta. Arkikielessä ”GPT”-sanaa käytetään usein kielimalleista yleensä.

Kielimalli
Transformer
+1