XGBoost (Extreme Gradient Boosting) ist eine Open-Source-Bibliothek, die Gradient Boosting mit Entscheidungsbäumen besonders effizient umsetzt. Dabei werden viele kleine Bäume nacheinander trainiert, wobei jeder die Fehler der vorherigen korrigiert; Regularisierung beugt Overfitting vor. XGBoost gilt als bewährte Wahl für tabellarische Daten, etwa für Kreditrisiko-Bewertung, Kündigungsprognosen oder Absatzvorhersagen.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenGradient Boosting ist ein Verfahren des maschinellen Lernens, das viele einfache Modelle – meist kleine Entscheidungsbäume – nacheinander kombiniert. Jeder neue Baum wird gezielt darauf trainiert, die verbleibenden Fehler der bisherigen zu verringern. So entstehen sehr treffsichere Modelle für Tabellendaten, etwa für Kreditrisiko, Absatzprognosen oder Kündigungswahrscheinlichkeiten. Bekannte Umsetzungen sind XGBoost, LightGBM und CatBoost; wichtig ist eine sorgfältige Einstellung, um Überanpassung zu vermeiden.
LightGBM ist eine quelloffene, ursprünglich von Microsoft entwickelte Bibliothek für Gradient Boosting mit Entscheidungsbäumen. Sie ist auf Geschwindigkeit und geringen Speicherbedarf ausgelegt, unter anderem durch histogrammbasiertes Training und Bäume, die gezielt am vielversprechendsten Blatt weiterwachsen. LightGBM eignet sich besonders für große tabellarische Datensätze, etwa für Absatzprognosen, Kündigungsvorhersagen oder Betrugserkennung, und wird häufig mit XGBoost verglichen.
Boosting ist ein Ensemble-Verfahren im maschinellen Lernen, bei dem viele einfache Modelle nacheinander trainiert werden: Jedes neue Modell konzentriert sich auf die Fälle, bei denen die vorherigen falsch lagen. Zusammen ergeben sie ein deutlich genaueres Gesamtmodell. Bekannte Varianten sind AdaBoost und Gradient Boosting mit Bibliotheken wie XGBoost oder LightGBM. Boosting ist besonders stark bei Tabellendaten, etwa für Kreditrisiko-, Absatz- oder Kündigungsprognosen.
Random Forest Regression sagt Zahlenwerte voraus, indem sie viele Entscheidungsbäume kombiniert. Jeder Baum wird auf einer zufälligen Stichprobe der Daten und mit einer zufälligen Auswahl von Merkmalen trainiert; das Ergebnis ist der Durchschnitt aller Baumvorhersagen. Dadurch ist das Verfahren robuster und weniger anfällig für Überanpassung als ein einzelner Baum. Eingesetzt wird es etwa für Absatzprognosen, Preisschätzungen oder Energiebedarf – oft als solider Ausgangspunkt bei tabellarischen Daten.
