Ordliste

BERT

Hvad er BERT?

BERT (Bidirectional Encoder Representations from Transformers) er en sprogmodel, som Google introducerede i 2018. I modsætning til tidligere modeller tager den hensyn til konteksten både til venstre og højre for et ord på samme tid, hvilket hjælper den med at løse tvetydigheder. BERT er designet til at forstå tekst snarere end til at skrive længere passager. Den bruges til søgning, tekstklassificering, genkendelse af navngivne entiteter og besvarelse af spørgsmål og har præget mange efterfølgende modeller.

Emner

Sprogmodel
NLP
Transformer

Prøv KI.ordo

Agenter, flows og skabeloner i ét arbejdsområde – gratis demo i 24 timer.

Start demo

← Alle begreber

Relaterede begreber

Transformer

Transformeren er en neural netværksarkitektur, der blev introduceret i 2017 i forskningsartiklen »Attention Is All You Need«. Kernen er attention-mekanismen: hvert ord vægtes i forhold til alle andre ord i en tekst, og beregningen kan paralleliseres effektivt. Transformere ligger til grund for nutidens sprogmodeller som GPT, Claude og BERT og bruges også til billeder og lyd.

Arkitektur
Deep learning
+1

Natural language understanding (NLU)

Natural language understanding er den del af sprogbehandlingen, der fanger betydningen af en ytring: hvilken hensigt ligger bag, hvilke personer, steder eller datoer nævnes, og hvad er tonen? Sammen med natural language generation (NLG) udgør NLU den ene af NLP's to sider. Et eksempel er et kundeservicesystem, der genkender »Min pakke er stadig ikke kommet« som en leveringsforespørgsel.

NLP
hensigtsgenkendelse
+1

Word embeddings

Word embeddings repræsenterer ord som numeriske vektorer, så ord med lignende betydning ligger tæt på hinanden i vektorrummet, f.eks. »bil« og »køretøj«. Metoder som Word2Vec eller GloVe lærer disse vektorer af store tekstmængder. De var et vigtigt skridt i sprogbehandlingen, f.eks. til søgning eller klassifikation; nutidens sprogmodeller bruger kontekstuelle embeddings, hvor et ord repræsenteres forskelligt afhængigt af sætningen.

NLP
vektorer
+1

Generative pre-trained transformer (GPT)

GPT (generative pre-trained transformer) betegner en serie store sprogmodeller udviklet af OpenAI og baseret på transformerarkitekturen. Modellerne fortrænes først på enorme tekstmængder til at forudsige det næste token og trænes derefter videre til dialog og til at følge instruktioner. Den første GPT-model udkom i 2018; senere generationer ligger til grund for ChatGPT. I dagligdags tale bruges 'GPT' ofte om sprogmodeller i almindelighed.

Sprogmodel
Transformer
+1