PaLM er en stor sprogmodel fra Google, præsenteret i 2022 med 540 milliarder parametre og trænet på mange TPU-chips samtidig med Googles træningssystem Pathways. PaLM 2 fulgte i 2023 og drev bl.a. chatbotten Bard. Google har siden erstattet PaLM med sine Gemini-modeller, og udvikler-API'et til PaLM blev lukket i august 2024. I dag har PaLM især betydning som en milepæl i udviklingen af store sprogmodeller.
En stor sprogmodel (large language model, LLM) er et neuralt netværk, der er trænet på meget store tekstmængder, så det kan forstå og generere sprog. Den fungerer ved trin for trin at beregne det mest sandsynlige næste token. LLM'er skriver, opsummerer, oversætter, besvarer spørgsmål og genererer kode; kendte eksempler er Claude, GPT, Gemini og Llama. Uden adgang til aktuelle kilder ved de kun det, der stod i deres træningsdata.
Transformeren er en neural netværksarkitektur, der blev introduceret i 2017 i forskningsartiklen »Attention Is All You Need«. Kernen er attention-mekanismen: hvert ord vægtes i forhold til alle andre ord i en tekst, og beregningen kan paralleliseres effektivt. Transformere ligger til grund for nutidens sprogmodeller som GPT, Claude og BERT og bruges også til billeder og lyd.
En fundamentmodel (foundation model) er en stor AI-model, der er fortrænet på meget omfattende, varierede data, og som derefter kan bruges til mange forskellige opgaver. Begrebet blev skabt på Stanford University i 2021. Kendte eksempler er store sprogmodeller som Claude eller GPT samt billedmodeller. Virksomheder bygger som regel deres applikationer på sådanne modeller i stedet for at træne egne fra bunden; EU's AI-forordning omtaler AI-modeller til almen brug.
GPT (generative pre-trained transformer) betegner en serie store sprogmodeller udviklet af OpenAI og baseret på transformerarkitekturen. Modellerne fortrænes først på enorme tekstmængder til at forudsige det næste token og trænes derefter videre til dialog og til at følge instruktioner. Den første GPT-model udkom i 2018; senere generationer ligger til grund for ChatGPT. I dagligdags tale bruges 'GPT' ofte om sprogmodeller i almindelighed.
