PaLM on Googlen suuri kielimalli, joka esiteltiin vuonna 2022 ja jossa on 540 miljardia parametria. Se opetettiin useilla TPU-siruilla yhtä aikaa Googlen Pathways-opetusjärjestelmällä. PaLM 2 seurasi vuonna 2023, ja se voimisti muun muassa Bard-chatbottia. Google on sittemmin korvannut PaLMin Gemini-malleillaan, ja PaLMin kehittäjä-API suljettiin elokuussa 2024. Nykyään PaLM on tärkeä lähinnä kielimallien kehityksen virstanpylväänä.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoSuuri kielimalli (LLM) on neuroverkko, joka on koulutettu hyvin suurilla tekstimäärillä, jotta se ymmärtää ja tuottaa kieltä. Se toimii laskemalla askel askeleelta todennäköisimmän seuraavan tokenin. LLM:t kirjoittavat, tiivistävät, kääntävät, vastaavat kysymyksiin ja tuottavat koodia; tunnettuja esimerkkejä ovat Claude, GPT, Gemini ja Llama. Ilman pääsyä ajankohtaisiin lähteisiin ne tietävät vain sen, mitä niiden koulutusdatassa oli.
Transformer on neuroverkkoarkkitehtuuri, joka esiteltiin vuonna 2017 tutkimusartikkelissa ”Attention Is All You Need”. Sen ytimessä on huomiomekanismi: jokaista sanaa painotetaan suhteessa kaikkiin muihin tekstin sanoihin, ja laskenta voidaan rinnakkaistaa tehokkaasti. Transformerit ovat nykyisten kielimallien, kuten GPT:n, Clauden ja BERTin, perusta, ja niitä käytetään myös kuvissa ja äänessä.
Perustamalli (foundation model) on suuri tekoälymalli, joka on esikoulutettu erittäin laajalla ja monipuolisella datalla ja jota voidaan sen jälkeen käyttää moniin eri tehtäviin. Termin lanseerasi Stanfordin yliopisto vuonna 2021. Tunnettuja esimerkkejä ovat suuret kielimallit, kuten Claude tai GPT, sekä kuvamallit. Yritykset rakentavat sovelluksensa yleensä tällaisten mallien päälle sen sijaan, että kouluttaisivat omia alusta alkaen; EU:n tekoälysäädös viittaa yleiskäyttöisiin tekoälymalleihin.
GPT (generative pre-trained transformer) viittaa OpenAI:n kehittämään suurten kielimallien sarjaan, joka perustuu transformer-arkkitehtuuriin. Mallit esikoulutetaan ensin valtavilla tekstimäärillä ennustamaan seuraava token ja koulutetaan sitten edelleen dialogiin ja ohjeiden noudattamiseen. Ensimmäinen GPT-malli julkaistiin vuonna 2018; myöhemmät sukupolvet ovat ChatGPT:n perusta. Arkikielessä ”GPT”-sanaa käytetään usein kielimalleista yleensä.
