PaLM on Google'i suur keelemudel, mis tutvustati 2022. aastal 540 miljardi parameetriga ja mida treeniti paljudel TPU-kiipidel korraga Google'i Pathwaysi treeningsüsteemiga. 2023. aastal järgnes PaLM 2, mis käitas muu hulgas vestlusrobotit Bard. Google on PaLM-i vahepeal asendanud oma Gemini mudelitega ning PaLM-i arendaja-API suleti 2024. aasta augustis. Täna on PaLM oluline peamiselt suurte keelemudelite arengu verstapostina.
Suur keelemudel (large language model, LLM) on närvivõrk, mis on treenitud väga suurte tekstihulkadega, mis võimaldab sellel keelest aru saada ja keelt luua. See töötab, arvutades samm-sammult kõige tõenäolisema järgmise tokeni. LLM-id kirjutavad, võtavad kokku, tõlgivad, vastavad küsimustele ja genereerivad koodi; tuntud näited on Claude, GPT, Gemini ja Llama. Ilma juurdepääsuta värsketele allikatele teavad nad ainult seda, mis oli nende treeningandmetes.
Transformer on närvivõrgu arhitektuur, mis tutvustati 2017. aastal uurimistöös „Attention Is All You Need“. Selle tuumaks on tähelepanumehhanism: iga sõna kaalutakse suhtes kõigi teiste sõnadega tekstis ning arvutust saab tõhusalt paralleliseerida. Transformerid on tänapäeva keelemudelite, nagu GPT, Claude ja BERT, aluseks ning neid kasutatakse ka piltide ja heli jaoks.
Alusmudel (foundation model) on suur TI-mudel, mis on eeltreenitud väga mahukate ja mitmekesiste andmetega ning mida saab seejärel kasutada paljudeks erinevateks ülesanneteks. Termini võttis 2021. aastal kasutusele Stanfordi ülikool. Tuntud näited on suured keelemudelid, nagu Claude või GPT, ning pildimudelid. Ettevõtted ehitavad oma rakendused tavaliselt selliste mudelite peale, selle asemel et nullist oma mudelit treenida; ELi tehisintellekti määrus räägib üldotstarbelistest TI-mudelitest.
GPT (generative pre-trained transformer) tähistab OpenAI välja töötatud suurte keelemudelite seeriat, mis põhineb transformeri arhitektuuril. Mudeleid eeltreenitakse esmalt tohutute tekstihulkadega, et ennustada järgmist tokenit, ning seejärel treenitakse edasi dialoogiks ja juhiste järgimiseks. Esimene GPT-mudel ilmus 2018. aastal; hilisemad põlvkonnad on ChatGPT aluseks. Igapäevakõnes kasutatakse „GPT“ sageli keelemudelite kohta üldiselt.
