PaLM är en stor språkmodell från Google, presenterad 2022 med 540 miljarder parametrar och tränad över många TPU-chip samtidigt med Googles träningssystem Pathways. PaLM 2 följde 2023 och drev bland annat chattboten Bard. Google har sedan dess ersatt PaLM med sina Gemini-modeller, och utvecklar-API:et för PaLM stängdes i augusti 2024. I dag är PaLM framför allt viktig som en milstolpe i utvecklingen av stora språkmodeller.
En stor språkmodell (large language model, LLM) är ett neuralt nätverk som tränats på mycket stora textmängder och därmed kan förstå och generera språk. Den fungerar genom att steg för steg beräkna den mest sannolika nästa token. LLM:er skriver, sammanfattar, översätter, besvarar frågor och genererar kod; kända exempel är Claude, GPT, Gemini och Llama. Utan tillgång till aktuella källor vet de bara det som fanns i deras träningsdata.
Transformern är en arkitektur för neurala nätverk som introducerades 2017 i forskningsartikeln ”Attention Is All You Need”. I kärnan finns uppmärksamhetsmekanismen: varje ord vägs i förhållande till alla andra ord i en text, och beräkningen kan parallelliseras effektivt. Transformers ligger till grund för dagens språkmodeller som GPT, Claude och BERT och används också för bilder och ljud.
En grundmodell är en stor AI-modell som har förtränats på mycket omfattande och mångsidiga data och sedan kan användas för många olika uppgifter. Begreppet myntades vid Stanford University 2021. Kända exempel är stora språkmodeller som Claude eller GPT samt bildmodeller. Företag bygger vanligtvis sina applikationer på sådana modeller i stället för att träna egna från grunden; EU:s AI-förordning talar om AI-modeller för allmänna ändamål.
GPT (generative pre-trained transformer) avser en serie stora språkmodeller som utvecklats av OpenAI och bygger på transformerarkitekturen. Modellerna förtränas först på enorma textmängder för att förutsäga nästa token och tränas sedan vidare för dialog och för att följa instruktioner. Den första GPT-modellen kom 2018; senare generationer ligger till grund för ChatGPT. I vardagligt tal används ”GPT” ofta om språkmodeller i allmänhet.
