BERT (Bidirectional Encoder Representations from Transformers) är en språkmodell som Google presenterade 2018. Till skillnad från tidigare modeller beaktar den samtidigt sammanhanget till vänster och höger om ett ord, vilket hjälper den att lösa upp tvetydigheter. BERT är utformad för att förstå text snarare än att skriva längre avsnitt. Den används för sökning, textklassificering, igenkänning av namngivna entiteter och frågebesvarande och har präglat många efterföljande modeller.
Transformern är en arkitektur för neurala nätverk som introducerades 2017 i forskningsartikeln ”Attention Is All You Need”. I kärnan finns uppmärksamhetsmekanismen: varje ord vägs i förhållande till alla andra ord i en text, och beräkningen kan parallelliseras effektivt. Transformers ligger till grund för dagens språkmodeller som GPT, Claude och BERT och används också för bilder och ljud.
Naturlig språkförståelse är den del av språkbehandlingen som fångar innebörden i ett yttrande: vilken avsikt ligger bakom, vilka personer, platser eller datum nämns, och vilken ton har det? Tillsammans med naturlig språkgenerering (NLG) utgör NLU en av NLP:s två sidor. Ett exempel är ett kundtjänstsystem som känner igen ”Mitt paket har fortfarande inte kommit” som en leveransfråga.
Ordinbäddningar representerar ord som numeriska vektorer så att ord med liknande betydelse hamnar nära varandra i vektorrummet, som ”bil” och ”fordon”. Metoder som Word2Vec eller GloVe lär sig dessa vektorer från stora textmängder. De var ett viktigt steg inom språkbehandling, till exempel för sökning eller klassificering; dagens språkmodeller använder kontextuella inbäddningar där ett ord representeras olika beroende på meningen.
GPT (generative pre-trained transformer) avser en serie stora språkmodeller som utvecklats av OpenAI och bygger på transformerarkitekturen. Modellerna förtränas först på enorma textmängder för att förutsäga nästa token och tränas sedan vidare för dialog och för att följa instruktioner. Den första GPT-modellen kom 2018; senare generationer ligger till grund för ChatGPT. I vardagligt tal används ”GPT” ofta om språkmodeller i allmänhet.
