Boosting ist ein Ensemble-Verfahren im maschinellen Lernen, bei dem viele einfache Modelle nacheinander trainiert werden: Jedes neue Modell konzentriert sich auf die Fälle, bei denen die vorherigen falsch lagen. Zusammen ergeben sie ein deutlich genaueres Gesamtmodell. Bekannte Varianten sind AdaBoost und Gradient Boosting mit Bibliotheken wie XGBoost oder LightGBM. Boosting ist besonders stark bei Tabellendaten, etwa für Kreditrisiko-, Absatz- oder Kündigungsprognosen.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenGradient Boosting ist ein Verfahren des maschinellen Lernens, das viele einfache Modelle – meist kleine Entscheidungsbäume – nacheinander kombiniert. Jeder neue Baum wird gezielt darauf trainiert, die verbleibenden Fehler der bisherigen zu verringern. So entstehen sehr treffsichere Modelle für Tabellendaten, etwa für Kreditrisiko, Absatzprognosen oder Kündigungswahrscheinlichkeiten. Bekannte Umsetzungen sind XGBoost, LightGBM und CatBoost; wichtig ist eine sorgfältige Einstellung, um Überanpassung zu vermeiden.
XGBoost (Extreme Gradient Boosting) ist eine Open-Source-Bibliothek, die Gradient Boosting mit Entscheidungsbäumen besonders effizient umsetzt. Dabei werden viele kleine Bäume nacheinander trainiert, wobei jeder die Fehler der vorherigen korrigiert; Regularisierung beugt Overfitting vor. XGBoost gilt als bewährte Wahl für tabellarische Daten, etwa für Kreditrisiko-Bewertung, Kündigungsprognosen oder Absatzvorhersagen.
LightGBM ist eine quelloffene, ursprünglich von Microsoft entwickelte Bibliothek für Gradient Boosting mit Entscheidungsbäumen. Sie ist auf Geschwindigkeit und geringen Speicherbedarf ausgelegt, unter anderem durch histogrammbasiertes Training und Bäume, die gezielt am vielversprechendsten Blatt weiterwachsen. LightGBM eignet sich besonders für große tabellarische Datensätze, etwa für Absatzprognosen, Kündigungsvorhersagen oder Betrugserkennung, und wird häufig mit XGBoost verglichen.
Bagging (kurz für Bootstrap Aggregating) ist ein Ensemble-Verfahren im maschinellen Lernen: Viele Modelle werden auf jeweils zufällig gezogenen Stichproben der Trainingsdaten trainiert, und ihre Vorhersagen werden gemittelt oder per Mehrheit kombiniert. Das macht Ergebnisse stabiler und verringert Überanpassung. Das bekannteste Beispiel ist der Random Forest, der viele Entscheidungsbäume bündelt – etwa zur Prognose von Kündigungen oder Preisen.
