PaLM is een groot taalmodel van Google, in 2022 onthuld met 540 miljard parameters en getraind op veel TPU-chips tegelijk met Googles trainingssysteem Pathways. In 2023 volgde PaLM 2, dat onder meer de chatbot Bard aandreef. Google heeft PaLM inmiddels vervangen door zijn Gemini-modellen, en de ontwikkelaars-API van PaLM is in augustus 2024 stopgezet. Tegenwoordig is PaLM vooral van belang als mijlpaal in de ontwikkeling van grote taalmodellen.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenEen groot taalmodel (large language model, LLM) is een neuraal netwerk dat is getraind op zeer grote hoeveelheden tekst, waardoor het taal kan begrijpen en genereren. Het werkt door stap voor stap het meest waarschijnlijke volgende token te berekenen. LLM’s schrijven, vatten samen, vertalen, beantwoorden vragen en genereren code; bekende voorbeelden zijn Claude, GPT, Gemini en Llama. Zonder toegang tot actuele bronnen weten ze alleen wat in hun trainingsdata stond.
De transformer is een architectuur voor neurale netwerken die in 2017 werd geïntroduceerd in het onderzoeksartikel “Attention Is All You Need”. De kern is het aandachtsmechanisme (attention): elk woord wordt gewogen ten opzichte van alle andere woorden in een tekst, en de berekening kan efficiënt parallel worden uitgevoerd. Transformers vormen de basis van de huidige taalmodellen zoals GPT, Claude en BERT en worden ook voor beeld en audio gebruikt.
Een foundation model is een groot AI-model dat is vooraf getraind op zeer omvangrijke, uiteenlopende data en vervolgens voor veel verschillende taken kan worden ingezet. De term werd in 2021 bedacht aan Stanford University. Bekende voorbeelden zijn grote taalmodellen zoals Claude of GPT, evenals beeldmodellen. Bedrijven bouwen hun toepassingen doorgaans op zulke modellen in plaats van zelf helemaal opnieuw te trainen; de AI-verordening spreekt van AI-modellen voor algemene doeleinden.
GPT (generative pre-trained transformer) verwijst naar een reeks grote taalmodellen die door OpenAI zijn ontwikkeld en gebaseerd zijn op de transformerarchitectuur. De modellen worden eerst voorgetraind op enorme hoeveelheden tekst om het volgende token te voorspellen en daarna verder getraind voor dialoog en het opvolgen van instructies. Het eerste GPT-model verscheen in 2018; latere generaties vormen de basis van ChatGPT. In de dagelijkse omgangstaal wordt ‘GPT’ vaak gebruikt voor taalmodellen in het algemeen.
