Woordenlijst

BERT

Wat is BERT?

BERT (Bidirectional Encoder Representations from Transformers) is een taalmodel dat Google in 2018 introduceerde. Anders dan eerdere modellen houdt het tegelijk rekening met de context links en rechts van een woord, waardoor het dubbelzinnigheid beter kan oplossen. BERT is bedoeld om tekst te begrijpen, niet om langere passages te schrijven. Het wordt gebruikt voor zoeken, tekstclassificatie, herkenning van benoemde entiteiten en vraagbeantwoording en heeft veel latere modellen beïnvloed.

Onderwerpen

Taalmodel
NLP
Transformer

KI.ordo uitproberen

Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.

Demo starten

← Alle begrippen

Verwante begrippen

Transformer

De transformer is een architectuur voor neurale netwerken die in 2017 werd geïntroduceerd in het onderzoeksartikel “Attention Is All You Need”. De kern is het aandachtsmechanisme (attention): elk woord wordt gewogen ten opzichte van alle andere woorden in een tekst, en de berekening kan efficiënt parallel worden uitgevoerd. Transformers vormen de basis van de huidige taalmodellen zoals GPT, Claude en BERT en worden ook voor beeld en audio gebruikt.

Architectuur
Deep learning
+1

Natuurlijk taalbegrip (NLU)

Natuurlijk taalbegrip is het deel van de taalverwerking dat de betekenis van een uiting vastlegt: welke intentie erachter zit, welke personen, plaatsen of data worden genoemd en wat de toon is. Samen met natuurlijke taalgeneratie (NLG) vormt NLU een van de twee zijden van NLP. Een voorbeeld is een klantenservicesysteem dat “Mijn pakket is nog steeds niet aangekomen” herkent als een vraag over de levering.

NLP
Intentieherkenning
+1

Woordembeddings

Woordembeddings stellen woorden voor als numerieke vectoren, zodat woorden met een vergelijkbare betekenis in de vectorruimte dicht bij elkaar liggen, zoals “auto” en “voertuig”. Methoden als Word2Vec of GloVe leren deze vectoren uit grote hoeveelheden tekst. Ze waren een belangrijke stap in de taalverwerking, bijvoorbeeld voor zoeken of classificeren; huidige taalmodellen gebruiken contextuele embeddings, waarin een woord afhankelijk van de zin anders wordt weergegeven.

NLP
Vectoren
+1

Generative pre-trained transformer (GPT)

GPT (generative pre-trained transformer) verwijst naar een reeks grote taalmodellen die door OpenAI zijn ontwikkeld en gebaseerd zijn op de transformerarchitectuur. De modellen worden eerst voorgetraind op enorme hoeveelheden tekst om het volgende token te voorspellen en daarna verder getraind voor dialoog en het opvolgen van instructies. Het eerste GPT-model verscheen in 2018; latere generaties vormen de basis van ChatGPT. In de dagelijkse omgangstaal wordt ‘GPT’ vaak gebruikt voor taalmodellen in het algemeen.

Taalmodel
Transformer
+1