Sanasto

Transformer

Mikä on Transformer?

Transformer on neuroverkkoarkkitehtuuri, joka esiteltiin vuonna 2017 tutkimusartikkelissa ”Attention Is All You Need”. Sen ytimessä on huomiomekanismi: jokaista sanaa painotetaan suhteessa kaikkiin muihin tekstin sanoihin, ja laskenta voidaan rinnakkaistaa tehokkaasti. Transformerit ovat nykyisten kielimallien, kuten GPT:n, Clauden ja BERTin, perusta, ja niitä käytetään myös kuvissa ja äänessä.

Miten KI.ordo auttaa

KI.ordon käyttämät Anthropicin Claude-mallit ovat transformer-arkkitehtuuriin perustuvia suuria kielimalleja.

Aiheet

Arkkitehtuuri
Syväoppiminen
LLM

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

Generatiivinen esikoulutettu transformer (GPT)

GPT (generative pre-trained transformer) viittaa OpenAI:n kehittämään suurten kielimallien sarjaan, joka perustuu transformer-arkkitehtuuriin. Mallit esikoulutetaan ensin valtavilla tekstimäärillä ennustamaan seuraava token ja koulutetaan sitten edelleen dialogiin ja ohjeiden noudattamiseen. Ensimmäinen GPT-malli julkaistiin vuonna 2018; myöhemmät sukupolvet ovat ChatGPT:n perusta. Arkikielessä ”GPT”-sanaa käytetään usein kielimalleista yleensä.

Kielimalli
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) on Googlen vuonna 2018 esittelemä kielimalli. Toisin kuin aiemmat mallit, se huomioi sanan vasemman- ja oikeanpuoleisen kontekstin samanaikaisesti, mikä auttaa sitä ratkaisemaan monitulkintaisuuksia. BERT on suunniteltu tekstin ymmärtämiseen eikä pidempien tekstien kirjoittamiseen. Sitä käytetään hakuun, tekstinluokitteluun, nimettyjen entiteettien tunnistukseen ja kysymyksiin vastaamiseen, ja se on muovannut monia seuraajamalleja.

Kielimalli
NLP
+1

Suuri kielimalli (LLM)

Suuri kielimalli (LLM) on neuroverkko, joka on koulutettu hyvin suurilla tekstimäärillä, jotta se ymmärtää ja tuottaa kieltä. Se toimii laskemalla askel askeleelta todennäköisimmän seuraavan tokenin. LLM:t kirjoittavat, tiivistävät, kääntävät, vastaavat kysymyksiin ja tuottavat koodia; tunnettuja esimerkkejä ovat Claude, GPT, Gemini ja Llama. Ilman pääsyä ajankohtaisiin lähteisiin ne tietävät vain sen, mitä niiden koulutusdatassa oli.

kielimallit
generatiivinen tekoäly
+1

Hugging Face Transformers

Hugging Face Transformers on avoimen lähdekoodin Python-kirjasto, joka antaa pääsyn esikoulutettuihin teksti-, kuva- ja äänimalleihin yhden yhtenäisen rajapinnan kautta. Kehittäjät käyttävät sitä mallien lataamiseen Hugging Face Hubista, niiden kokeiluun, mukauttamiseen omalle datalle tai ajamiseen paikallisesti. Versiosta 5 alkaen kirjasto on keskittynyt ensisijaisesti PyTorchiin (tilanne lokakuussa 2026). Esimerkki: tiimi testaa sentimenttianalyysimallia vain muutamalla koodirivillä.

Avoin lähdekoodi
kirjasto
+2