DE
AnmeldenJetzt starten
Glossar

Transformer

Was ist Transformer?

Der Transformer ist eine Architektur neuronaler Netze, die 2017 in dem Forschungsartikel „Attention Is All You Need“ vorgestellt wurde. Ihr Kern ist der Attention-Mechanismus: Jedes Wort wird im Zusammenhang mit allen anderen Wörtern eines Textes gewichtet, und die Berechnung lässt sich gut parallelisieren. Transformer bilden die Grundlage heutiger Sprachmodelle wie GPT, Claude oder BERT und werden auch für Bilder und Audio eingesetzt.

So hilft KI.ordo

Die Claude-Modelle von Anthropic, die KI.ordo nutzt, sind große Sprachmodelle auf Basis der Transformer-Architektur.

Themen

  • Architektur
  • Deep Learning
  • LLM

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten
← Alle Begriffe

Verwandte Begriffe

Generativer vortrainierter Transformer (GPT)

GPT (Generative Pre-trained Transformer) bezeichnet eine von OpenAI entwickelte Reihe großer Sprachmodelle auf Basis der Transformer-Architektur. Die Modelle werden zunächst mit riesigen Textmengen darauf vortrainiert, das jeweils nächste Token vorherzusagen, und anschließend für Dialoge und Anweisungen nachtrainiert. Das erste GPT-Modell erschien 2018; spätere Generationen bilden die Grundlage von ChatGPT. Umgangssprachlich wird „GPT“ oft für Sprachmodelle allgemein verwendet.

  • Sprachmodell
  • Transformer
  • +1

BERT

BERT (Bidirectional Encoder Representations from Transformers) ist ein Sprachmodell, das Google 2018 vorgestellt hat. Anders als frühere Modelle betrachtet es beim Lesen eines Wortes den Kontext links und rechts gleichzeitig und versteht dadurch Mehrdeutigkeiten besser. BERT ist auf Textverständnis ausgelegt, nicht auf das Schreiben längerer Texte. Es wird für Suche, Textklassifikation, Erkennung benannter Entitäten und Fragebeantwortung eingesetzt und hat viele Nachfolgemodelle geprägt.

  • Sprachmodell
  • NLP
  • +1

Großes Sprachmodell (LLM)

Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz, das mit sehr großen Textmengen trainiert wurde und dadurch Sprache verstehen und erzeugen kann. Es arbeitet, indem es Schritt für Schritt das wahrscheinlichste nächste Token berechnet. LLMs schreiben, fassen zusammen, übersetzen, beantworten Fragen und erzeugen Code; bekannte Beispiele sind Claude, GPT, Gemini und Llama. Ohne Zugriff auf aktuelle Quellen kennen sie nur den Stand ihrer Trainingsdaten.

  • Sprachmodelle
  • Generative KI
  • +1

Hugging Face Transformers

Hugging Face Transformers ist eine quelloffene Python-Bibliothek, die vortrainierte Modelle für Text, Bild und Audio über eine einheitliche Schnittstelle zugänglich macht. Entwickler laden damit Modelle vom Hugging Face Hub, probieren sie aus, passen sie an eigene Daten an oder betreiben sie lokal. Mit Version 5 setzt die Bibliothek vorrangig auf PyTorch (Stand: Oktober 2026). Beispiel: Ein Team testet mit wenigen Codezeilen ein Modell zur Stimmungsanalyse.

  • Open Source
  • Bibliothek
  • +2