Glossar

Parameter-Efficient Fine-Tuning (PEFT)

Was ist Parameter-Efficient Fine-Tuning (PEFT)?

Parameter-Efficient Fine-Tuning (PEFT) fasst Verfahren zusammen, die ein großes vortrainiertes Modell an eine Aufgabe anpassen, indem nur ein kleiner Teil der Parameter trainiert oder wenige zusätzliche Parameter ergänzt werden. Bekannte Methoden sind LoRA, QLoRA, Adapter und Prefix-Tuning. Das senkt Rechen- und Speicherbedarf erheblich, und für mehrere Aufgaben lassen sich kleine Zusatzmodule statt vollständiger Modellkopien speichern. Beispiel: Ein Sprachmodell wird auf den Stil interner Fachtexte abgestimmt.

Themen

Feinabstimmung
Training
Effizienz

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

Feinabstimmung (Fine-Tuning)

Feinabstimmung (Fine-Tuning) bedeutet, ein bereits vortrainiertes KI-Modell mit zusätzlichen, meist aufgabenspezifischen Daten weiterzutrainieren. Dabei werden die internen Gewichte angepasst, damit das Modell etwa einen bestimmten Schreibstil, ein Fachvokabular oder ein Ausgabeformat zuverlässiger beherrscht. Fine-Tuning erfordert sorgfältig aufbereitete Beispieldaten, Rechenleistung und Tests. Für viele Anwendungen reichen gut formulierte Anweisungen und angebundenes Wissen aus, die sich leichter ändern lassen.

Modelltraining
Anpassung
+1

Instruction Tuning

Instruction Tuning ist eine Form der Feinabstimmung, bei der ein vortrainiertes Sprachmodell mit vielen Beispielpaaren aus Anweisung und gewünschter Antwort weitertrainiert wird. Dadurch lernt das Modell, Aufgaben in natürlicher Sprache zu befolgen, statt nur Text fortzusetzen. Es ist ein zentraler Schritt auf dem Weg vom Basismodell zum Assistenten und wird häufig mit Verfahren wie RLHF kombiniert. Beispiel: „Fasse diesen Text in drei Sätzen zusammen“ wird zuverlässig umgesetzt.

Feinabstimmung
Sprachmodelle
+1

Transfer Learning

Beim Transfer Learning (Transferlernen) wird ein Modell, das bereits an einer großen allgemeinen Aufgabe gelernt hat, als Ausgangspunkt für eine neue, spezielle Aufgabe genutzt. Statt bei null zu beginnen, wird es etwa per Feinabstimmung mit vergleichsweise wenigen eigenen Daten angepasst. Das spart Rechenzeit und Daten – zum Beispiel, wenn ein allgemeines Bildmodell lernen soll, Produktionsfehler auf Fotos zu erkennen.

Machine Learning
Training
+1

Foundation-Modell

Ein Foundation-Modell (Basismodell) ist ein großes KI-Modell, das mit sehr umfangreichen, breit gefächerten Daten vortrainiert wurde und sich anschließend für viele unterschiedliche Aufgaben nutzen lässt. Der Begriff wurde 2021 an der Stanford University geprägt. Bekannte Beispiele sind große Sprachmodelle wie Claude oder GPT sowie Bildmodelle. Unternehmen bauen ihre Anwendungen meist auf solchen Modellen auf, statt eigene von Grund auf zu trainieren; die EU-KI-Verordnung spricht von KI-Modellen mit allgemeinem Verwendungszweck.

Basismodell
Sprachmodelle
+1