Ordliste

Transformer

Hvad er Transformer?

Transformeren er en neural netværksarkitektur, der blev introduceret i 2017 i forskningsartiklen »Attention Is All You Need«. Kernen er attention-mekanismen: hvert ord vægtes i forhold til alle andre ord i en tekst, og beregningen kan paralleliseres effektivt. Transformere ligger til grund for nutidens sprogmodeller som GPT, Claude og BERT og bruges også til billeder og lyd.

Sådan hjælper KI.ordo

De Anthropic Claude-modeller, som KI.ordo bruger, er store sprogmodeller baseret på transformer-arkitekturen.

Emner

Arkitektur
Deep learning
LLM

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo

← Alle begreber

Relaterede begreber

Generative pre-trained transformer (GPT)

GPT (generative pre-trained transformer) betegner en serie store sprogmodeller udviklet af OpenAI og baseret på transformerarkitekturen. Modellerne fortrænes først på enorme tekstmængder til at forudsige det næste token og trænes derefter videre til dialog og til at følge instruktioner. Den første GPT-model udkom i 2018; senere generationer ligger til grund for ChatGPT. I dagligdags tale bruges 'GPT' ofte om sprogmodeller i almindelighed.

Sprogmodel
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) er en sprogmodel, som Google introducerede i 2018. I modsætning til tidligere modeller tager den hensyn til konteksten både til venstre og højre for et ord på samme tid, hvilket hjælper den med at løse tvetydigheder. BERT er designet til at forstå tekst snarere end til at skrive længere passager. Den bruges til søgning, tekstklassificering, genkendelse af navngivne entiteter og besvarelse af spørgsmål og har præget mange efterfølgende modeller.

Sprogmodel
NLP
+1

Stor sprogmodel (LLM)

En stor sprogmodel (large language model, LLM) er et neuralt netværk, der er trænet på meget store tekstmængder, så det kan forstå og generere sprog. Den fungerer ved trin for trin at beregne det mest sandsynlige næste token. LLM'er skriver, opsummerer, oversætter, besvarer spørgsmål og genererer kode; kendte eksempler er Claude, GPT, Gemini og Llama. Uden adgang til aktuelle kilder ved de kun det, der stod i deres træningsdata.

Sprogmodeller
Generativ AI
+1

Hugging Face Transformers

Hugging Face Transformers er et open source-bibliotek i Python, der giver adgang til fortrænede modeller til tekst, billeder og lyd gennem én samlet grænseflade. Udviklere bruger det til at hente modeller fra Hugging Face Hub, afprøve dem, tilpasse dem til egne data eller køre dem lokalt. Siden version 5 har biblioteket primært fokuseret på PyTorch (status oktober 2026). Eksempel: Et team tester en model til sentimentanalyse med blot nogle få linjer kode.

Open source
Bibliotek
+2