Hugging Face Transformers ist eine quelloffene Python-Bibliothek, die vortrainierte Modelle für Text, Bild und Audio über eine einheitliche Schnittstelle zugänglich macht. Entwickler laden damit Modelle vom Hugging Face Hub, probieren sie aus, passen sie an eigene Daten an oder betreiben sie lokal. Mit Version 5 setzt die Bibliothek vorrangig auf PyTorch (Stand: Oktober 2026). Beispiel: Ein Team testet mit wenigen Codezeilen ein Modell zur Stimmungsanalyse.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenDer Transformer ist eine Architektur neuronaler Netze, die 2017 in dem Forschungsartikel „Attention Is All You Need“ vorgestellt wurde. Ihr Kern ist der Attention-Mechanismus: Jedes Wort wird im Zusammenhang mit allen anderen Wörtern eines Textes gewichtet, und die Berechnung lässt sich gut parallelisieren. Transformer bilden die Grundlage heutiger Sprachmodelle wie GPT, Claude oder BERT und werden auch für Bilder und Audio eingesetzt.
Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz, das mit sehr großen Textmengen trainiert wurde und dadurch Sprache verstehen und erzeugen kann. Es arbeitet, indem es Schritt für Schritt das wahrscheinlichste nächste Token berechnet. LLMs schreiben, fassen zusammen, übersetzen, beantworten Fragen und erzeugen Code; bekannte Beispiele sind Claude, GPT, Gemini und Llama. Ohne Zugriff auf aktuelle Quellen kennen sie nur den Stand ihrer Trainingsdaten.
PyTorch ist ein quelloffenes Framework für maschinelles Lernen und Deep Learning in der Programmiersprache Python. Es wurde ursprünglich bei Meta (damals Facebook) entwickelt und wird seit 2022 von der PyTorch Foundation unter dem Dach der Linux Foundation betreut. PyTorch ist in Forschung und Industrie weit verbreitet, weil sich Modelle damit flexibel bauen, auf Grafikkarten trainieren und schrittweise testen lassen; viele bekannte Sprach- und Bildmodelle entstehen damit.
Feinabstimmung (Fine-Tuning) bedeutet, ein bereits vortrainiertes KI-Modell mit zusätzlichen, meist aufgabenspezifischen Daten weiterzutrainieren. Dabei werden die internen Gewichte angepasst, damit das Modell etwa einen bestimmten Schreibstil, ein Fachvokabular oder ein Ausgabeformat zuverlässiger beherrscht. Fine-Tuning erfordert sorgfältig aufbereitete Beispieldaten, Rechenleistung und Tests. Für viele Anwendungen reichen gut formulierte Anweisungen und angebundenes Wissen aus, die sich leichter ändern lassen.
