Glossar

Gradient Boosting

Was ist Gradient Boosting?

Gradient Boosting ist ein Verfahren des maschinellen Lernens, das viele einfache Modelle – meist kleine Entscheidungsbäume – nacheinander kombiniert. Jeder neue Baum wird gezielt darauf trainiert, die verbleibenden Fehler der bisherigen zu verringern. So entstehen sehr treffsichere Modelle für Tabellendaten, etwa für Kreditrisiko, Absatzprognosen oder Kündigungswahrscheinlichkeiten. Bekannte Umsetzungen sind XGBoost, LightGBM und CatBoost; wichtig ist eine sorgfältige Einstellung, um Überanpassung zu vermeiden.

Themen

Maschinelles Lernen
Ensemble-Methode
Tabellendaten

KI.ordo ausprobieren

Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.

Demo starten

← Alle Begriffe

Verwandte Begriffe

XGBoost

XGBoost (Extreme Gradient Boosting) ist eine Open-Source-Bibliothek, die Gradient Boosting mit Entscheidungsbäumen besonders effizient umsetzt. Dabei werden viele kleine Bäume nacheinander trainiert, wobei jeder die Fehler der vorherigen korrigiert; Regularisierung beugt Overfitting vor. XGBoost gilt als bewährte Wahl für tabellarische Daten, etwa für Kreditrisiko-Bewertung, Kündigungsprognosen oder Absatzvorhersagen.

Machine Learning
Boosting
+1

LightGBM

LightGBM ist eine quelloffene, ursprünglich von Microsoft entwickelte Bibliothek für Gradient Boosting mit Entscheidungsbäumen. Sie ist auf Geschwindigkeit und geringen Speicherbedarf ausgelegt, unter anderem durch histogrammbasiertes Training und Bäume, die gezielt am vielversprechendsten Blatt weiterwachsen. LightGBM eignet sich besonders für große tabellarische Datensätze, etwa für Absatzprognosen, Kündigungsvorhersagen oder Betrugserkennung, und wird häufig mit XGBoost verglichen.

Gradient Boosting
Tabellendaten
+1

Boosting

Boosting ist ein Ensemble-Verfahren im maschinellen Lernen, bei dem viele einfache Modelle nacheinander trainiert werden: Jedes neue Modell konzentriert sich auf die Fälle, bei denen die vorherigen falsch lagen. Zusammen ergeben sie ein deutlich genaueres Gesamtmodell. Bekannte Varianten sind AdaBoost und Gradient Boosting mit Bibliotheken wie XGBoost oder LightGBM. Boosting ist besonders stark bei Tabellendaten, etwa für Kreditrisiko-, Absatz- oder Kündigungsprognosen.

Ensemble-Methoden
Maschinelles Lernen
+1

Entscheidungsbaum

Ein Entscheidungsbaum ist ein Modell, das eine Entscheidung als Folge einfacher Ja-/Nein-Fragen darstellt: Jede Verzweigung prüft ein Merkmal, jedes Blatt liefert ein Ergebnis. Im maschinellen Lernen werden solche Bäume automatisch aus Daten gelernt und für Klassifikation oder Prognosen genutzt. Ihr Vorteil ist die Nachvollziehbarkeit – etwa bei der Frage, ob ein Kreditantrag anhand von Einkommen, Laufzeit und Vorgeschichte geprüft werden sollte.

Maschinelles Lernen
Klassifikation
+1