Woordenlijst

Transformer

Wat is Transformer?

De transformer is een architectuur voor neurale netwerken die in 2017 werd geïntroduceerd in het onderzoeksartikel “Attention Is All You Need”. De kern is het aandachtsmechanisme (attention): elk woord wordt gewogen ten opzichte van alle andere woorden in een tekst, en de berekening kan efficiënt parallel worden uitgevoerd. Transformers vormen de basis van de huidige taalmodellen zoals GPT, Claude en BERT en worden ook voor beeld en audio gebruikt.

Hoe KI.ordo helpt

De Claude-modellen van Anthropic die KI.ordo gebruikt, zijn grote taalmodellen op basis van de transformerarchitectuur.

Onderwerpen

Architectuur
Deep learning
LLM

KI.ordo uitproberen

Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.

Demo starten

← Alle begrippen

Verwante begrippen

Generative pre-trained transformer (GPT)

GPT (generative pre-trained transformer) verwijst naar een reeks grote taalmodellen die door OpenAI zijn ontwikkeld en gebaseerd zijn op de transformerarchitectuur. De modellen worden eerst voorgetraind op enorme hoeveelheden tekst om het volgende token te voorspellen en daarna verder getraind voor dialoog en het opvolgen van instructies. Het eerste GPT-model verscheen in 2018; latere generaties vormen de basis van ChatGPT. In de dagelijkse omgangstaal wordt ‘GPT’ vaak gebruikt voor taalmodellen in het algemeen.

Taalmodel
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) is een taalmodel dat Google in 2018 introduceerde. Anders dan eerdere modellen houdt het tegelijk rekening met de context links en rechts van een woord, waardoor het dubbelzinnigheid beter kan oplossen. BERT is bedoeld om tekst te begrijpen, niet om langere passages te schrijven. Het wordt gebruikt voor zoeken, tekstclassificatie, herkenning van benoemde entiteiten en vraagbeantwoording en heeft veel latere modellen beïnvloed.

Taalmodel
NLP
+1

Groot taalmodel (LLM)

Een groot taalmodel (large language model, LLM) is een neuraal netwerk dat is getraind op zeer grote hoeveelheden tekst, waardoor het taal kan begrijpen en genereren. Het werkt door stap voor stap het meest waarschijnlijke volgende token te berekenen. LLM’s schrijven, vatten samen, vertalen, beantwoorden vragen en genereren code; bekende voorbeelden zijn Claude, GPT, Gemini en Llama. Zonder toegang tot actuele bronnen weten ze alleen wat in hun trainingsdata stond.

Taalmodellen
Generatieve AI
+1

Hugging Face Transformers

Hugging Face Transformers is een open-source Python-bibliotheek die via één consistente interface toegang geeft tot vooraf getrainde modellen voor tekst, beeld en audio. Ontwikkelaars gebruiken haar om modellen van de Hugging Face Hub te downloaden, uit te proberen, aan te passen aan eigen data of lokaal uit te voeren. Sinds versie 5 richt de bibliotheek zich vooral op PyTorch (stand oktober 2026). Voorbeeld: een team test met slechts enkele regels code een model voor sentimentanalyse.

Open source
Bibliotheek
+2