PaLM – didelis Google kalbos modelis, pristatytas 2022 m. su 540 milijardų parametrų ir apmokytas daugybe TPU lustų vienu metu naudojant Google Pathways mokymo sistemą. 2023 m. pasirodė PaLM 2, kuris, be kita ko, valdė pokalbių robotą Bard. Vėliau Google PaLM pakeitė savo Gemini modeliais, o PaLM kūrėjų API buvo išjungta 2024 m. rugpjūtį. Šiandien PaLM svarbus daugiausia kaip didelių kalbos modelių raidos etapas.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąDidysis kalbos modelis (angl. large language model, LLM) – tai neuroninis tinklas, apmokytas su labai dideliais teksto kiekiais, todėl gebantis suprasti ir generuoti kalbą. Jis veikia žingsnis po žingsnio skaičiuodamas labiausiai tikėtiną kitą tokeną. LLM rašo, apibendrina, verčia, atsako į klausimus ir generuoja kodą; gerai žinomi pavyzdžiai – „Claude“, GPT, „Gemini“ ir „Llama“. Neturėdami prieigos prie aktualių šaltinių, jie žino tik tai, kas buvo jų mokymo duomenyse.
Transformeris – neuroninio tinklo architektūra, pristatyta 2017 m. moksliniame straipsnyje „Attention Is All You Need“. Jos esmė – dėmesio mechanizmas: kiekvienas teksto žodis įvertinamas atsižvelgiant į visus kitus žodžius, o skaičiavimus galima efektyviai lygiagretinti. Transformeriais remiasi šiandienos kalbos modeliai, tokie kaip GPT, Claude ir BERT, jie taip pat naudojami vaizdams ir garsui.
Bazinis modelis (angl. foundation model) – tai didelis DI modelis, iš anksto apmokytas labai plačiais, įvairiais duomenimis, kurį vėliau galima naudoti daugeliui skirtingų užduočių. Terminą 2021 m. sukūrė Stanfordo universitetas. Gerai žinomi pavyzdžiai yra dideli kalbos modeliai, tokie kaip „Claude“ ar GPT, taip pat vaizdų modeliai. Įmonės savo taikomąsias programas paprastai kuria remdamosi tokiais modeliais, o ne apmoko savo nuo nulio; ES dirbtinio intelekto akte kalbama apie bendrosios paskirties DI modelius.
GPT (angl. generative pre-trained transformer) žymi „OpenAI“ sukurtą didelių kalbos modelių seriją, grindžiamą transformerio architektūra. Modeliai pirmiausia iš anksto apmokomi su milžiniškais teksto kiekiais, kad nuspėtų kitą tokeną, o paskui toliau mokomi dialogo ir nurodymų vykdymo. Pirmasis GPT modelis pasirodė 2018 m.; vėlesnės kartos yra „ChatGPT“ pagrindas. Šnekamojoje kalboje „GPT“ dažnai vadinami apskritai kalbos modeliai.
