Ordlista

Transformer

Vad är Transformer?

Transformern är en arkitektur för neurala nätverk som introducerades 2017 i forskningsartikeln ”Attention Is All You Need”. I kärnan finns uppmärksamhetsmekanismen: varje ord vägs i förhållande till alla andra ord i en text, och beräkningen kan parallelliseras effektivt. Transformers ligger till grund för dagens språkmodeller som GPT, Claude och BERT och används också för bilder och ljud.

Så hjälper KI.ordo

De Claude-modeller från Anthropic som KI.ordo använder är stora språkmodeller som bygger på transformerarkitekturen.

Ämnen

Arkitektur
Djupinlärning
LLM

Prova KI.ordo

Agenter, flöden och mallar i en arbetsyta – gratis demo i 24 timmar.

Starta demo

← Alla begrepp

Relaterade begrepp

Generative pre-trained transformer (GPT)

GPT (generative pre-trained transformer) avser en serie stora språkmodeller som utvecklats av OpenAI och bygger på transformerarkitekturen. Modellerna förtränas först på enorma textmängder för att förutsäga nästa token och tränas sedan vidare för dialog och för att följa instruktioner. Den första GPT-modellen kom 2018; senare generationer ligger till grund för ChatGPT. I vardagligt tal används ”GPT” ofta om språkmodeller i allmänhet.

Språkmodell
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) är en språkmodell som Google presenterade 2018. Till skillnad från tidigare modeller beaktar den samtidigt sammanhanget till vänster och höger om ett ord, vilket hjälper den att lösa upp tvetydigheter. BERT är utformad för att förstå text snarare än att skriva längre avsnitt. Den används för sökning, textklassificering, igenkänning av namngivna entiteter och frågebesvarande och har präglat många efterföljande modeller.

Språkmodell
NLP
+1

Stor språkmodell (LLM)

En stor språkmodell (large language model, LLM) är ett neuralt nätverk som tränats på mycket stora textmängder och därmed kan förstå och generera språk. Den fungerar genom att steg för steg beräkna den mest sannolika nästa token. LLM:er skriver, sammanfattar, översätter, besvarar frågor och genererar kod; kända exempel är Claude, GPT, Gemini och Llama. Utan tillgång till aktuella källor vet de bara det som fanns i deras träningsdata.

Språkmodeller
Generativ AI
+1

Hugging Face Transformers

Hugging Face Transformers är ett Python-bibliotek med öppen källkod som ger tillgång till förtränade modeller för text, bild och ljud via ett enda, enhetligt gränssnitt. Utvecklare använder det för att ladda ned modeller från Hugging Face Hub, prova dem, anpassa dem till egna data eller köra dem lokalt. Sedan version 5 fokuserar biblioteket främst på PyTorch (läge oktober 2026). Exempel: ett team testar en modell för sentimentanalys med bara några rader kod.

Öppen källkod
Bibliotek
+2