Glossar

BERT

Was ist BERT?

BERT (Bidirectional Encoder Representations from Transformers) ist ein Sprachmodell, das Google 2018 vorgestellt hat. Anders als frühere Modelle betrachtet es beim Lesen eines Wortes den Kontext links und rechts gleichzeitig und versteht dadurch Mehrdeutigkeiten besser. BERT ist auf Textverständnis ausgelegt, nicht auf das Schreiben längerer Texte. Es wird für Suche, Textklassifikation, Erkennung benannter Entitäten und Fragebeantwortung eingesetzt und hat viele Nachfolgemodelle geprägt.

Themen

Sprachmodell
NLP
Transformer

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Transformer

Der Transformer ist eine Architektur neuronaler Netze, die 2017 in dem Forschungsartikel „Attention Is All You Need“ vorgestellt wurde. Ihr Kern ist der Attention-Mechanismus: Jedes Wort wird im Zusammenhang mit allen anderen Wörtern eines Textes gewichtet, und die Berechnung lässt sich gut parallelisieren. Transformer bilden die Grundlage heutiger Sprachmodelle wie GPT, Claude oder BERT und werden auch für Bilder und Audio eingesetzt.

Architektur
Deep Learning
+1

Verstehen natürlicher Sprache (NLU)

Natural Language Understanding (NLU) ist der Teil der Sprachverarbeitung, der die Bedeutung einer Äußerung erfasst: Welche Absicht steckt dahinter, welche Personen, Orte oder Daten werden genannt, wie ist der Ton? NLU bildet zusammen mit der Sprachgenerierung (NLG) die beiden Seiten des NLP. Ein Beispiel ist ein Kundenservice, der aus „Mein Paket ist immer noch nicht da“ eine Lieferanfrage erkennt.

NLP
Absichtserkennung
+1

Wort-Embeddings

Wort-Embeddings stellen Wörter als Zahlenvektoren dar, sodass Wörter mit ähnlicher Bedeutung im Vektorraum nahe beieinanderliegen – etwa „Auto“ und „Fahrzeug“. Verfahren wie Word2Vec oder GloVe lernen diese Vektoren aus großen Textmengen. Sie bildeten einen wichtigen Schritt der Sprachverarbeitung, etwa für Suche oder Klassifikation; heutige Sprachmodelle nutzen kontextabhängige Embeddings, bei denen ein Wort je nach Satz unterschiedlich dargestellt wird.

NLP
Vektoren
+1

Generativer vortrainierter Transformer (GPT)

GPT (Generative Pre-trained Transformer) bezeichnet eine von OpenAI entwickelte Reihe großer Sprachmodelle auf Basis der Transformer-Architektur. Die Modelle werden zunächst mit riesigen Textmengen darauf vortrainiert, das jeweils nächste Token vorherzusagen, und anschließend für Dialoge und Anweisungen nachtrainiert. Das erste GPT-Modell erschien 2018; spätere Generationen bilden die Grundlage von ChatGPT. Umgangssprachlich wird „GPT“ oft für Sprachmodelle allgemein verwendet.

Sprachmodell
Transformer
+1