Glossar

Pathways Language Model (PaLM)

Was ist Pathways Language Model (PaLM)?

PaLM ist ein großes Sprachmodell von Google, das 2022 mit 540 Milliarden Parametern vorgestellt und mit Googles Trainingssystem „Pathways“ auf vielen TPU-Chips gleichzeitig trainiert wurde. 2023 folgte PaLM 2, das unter anderem den Chatbot Bard antrieb. Inzwischen hat Google PaLM durch die Gemini-Modelle abgelöst; die PaLM-API für Entwickler wurde im August 2024 abgeschaltet. Heute ist PaLM vor allem als Entwicklungsschritt der großen Sprachmodelle von Bedeutung.

Themen

Sprachmodell
Google
Modellgeschichte

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Großes Sprachmodell (LLM)

Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz, das mit sehr großen Textmengen trainiert wurde und dadurch Sprache verstehen und erzeugen kann. Es arbeitet, indem es Schritt für Schritt das wahrscheinlichste nächste Token berechnet. LLMs schreiben, fassen zusammen, übersetzen, beantworten Fragen und erzeugen Code; bekannte Beispiele sind Claude, GPT, Gemini und Llama. Ohne Zugriff auf aktuelle Quellen kennen sie nur den Stand ihrer Trainingsdaten.

Sprachmodelle
Generative KI
+1

Transformer

Der Transformer ist eine Architektur neuronaler Netze, die 2017 in dem Forschungsartikel „Attention Is All You Need“ vorgestellt wurde. Ihr Kern ist der Attention-Mechanismus: Jedes Wort wird im Zusammenhang mit allen anderen Wörtern eines Textes gewichtet, und die Berechnung lässt sich gut parallelisieren. Transformer bilden die Grundlage heutiger Sprachmodelle wie GPT, Claude oder BERT und werden auch für Bilder und Audio eingesetzt.

Architektur
Deep Learning
+1

Foundation-Modell

Ein Foundation-Modell (Basismodell) ist ein großes KI-Modell, das mit sehr umfangreichen, breit gefächerten Daten vortrainiert wurde und sich anschließend für viele unterschiedliche Aufgaben nutzen lässt. Der Begriff wurde 2021 an der Stanford University geprägt. Bekannte Beispiele sind große Sprachmodelle wie Claude oder GPT sowie Bildmodelle. Unternehmen bauen ihre Anwendungen meist auf solchen Modellen auf, statt eigene von Grund auf zu trainieren; die EU-KI-Verordnung spricht von KI-Modellen mit allgemeinem Verwendungszweck.

Basismodell
Sprachmodelle
+1

Generativer vortrainierter Transformer (GPT)

GPT (Generative Pre-trained Transformer) bezeichnet eine von OpenAI entwickelte Reihe großer Sprachmodelle auf Basis der Transformer-Architektur. Die Modelle werden zunächst mit riesigen Textmengen darauf vortrainiert, das jeweils nächste Token vorherzusagen, und anschließend für Dialoge und Anweisungen nachtrainiert. Das erste GPT-Modell erschien 2018; spätere Generationen bilden die Grundlage von ChatGPT. Umgangssprachlich wird „GPT“ oft für Sprachmodelle allgemein verwendet.

Sprachmodell
Transformer
+1