Bagging (kurz für Bootstrap Aggregating) ist ein Ensemble-Verfahren im maschinellen Lernen: Viele Modelle werden auf jeweils zufällig gezogenen Stichproben der Trainingsdaten trainiert, und ihre Vorhersagen werden gemittelt oder per Mehrheit kombiniert. Das macht Ergebnisse stabiler und verringert Überanpassung. Das bekannteste Beispiel ist der Random Forest, der viele Entscheidungsbäume bündelt – etwa zur Prognose von Kündigungen oder Preisen.
Agenten, Abläufe und Vorlagen in einem Arbeitsbereich – 24 Stunden kostenlos als Demo.
Demo startenRandom Forest Regression sagt Zahlenwerte voraus, indem sie viele Entscheidungsbäume kombiniert. Jeder Baum wird auf einer zufälligen Stichprobe der Daten und mit einer zufälligen Auswahl von Merkmalen trainiert; das Ergebnis ist der Durchschnitt aller Baumvorhersagen. Dadurch ist das Verfahren robuster und weniger anfällig für Überanpassung als ein einzelner Baum. Eingesetzt wird es etwa für Absatzprognosen, Preisschätzungen oder Energiebedarf – oft als solider Ausgangspunkt bei tabellarischen Daten.
Boosting ist ein Ensemble-Verfahren im maschinellen Lernen, bei dem viele einfache Modelle nacheinander trainiert werden: Jedes neue Modell konzentriert sich auf die Fälle, bei denen die vorherigen falsch lagen. Zusammen ergeben sie ein deutlich genaueres Gesamtmodell. Bekannte Varianten sind AdaBoost und Gradient Boosting mit Bibliotheken wie XGBoost oder LightGBM. Boosting ist besonders stark bei Tabellendaten, etwa für Kreditrisiko-, Absatz- oder Kündigungsprognosen.
Ein Entscheidungsbaum ist ein Modell, das eine Entscheidung als Folge einfacher Ja-/Nein-Fragen darstellt: Jede Verzweigung prüft ein Merkmal, jedes Blatt liefert ein Ergebnis. Im maschinellen Lernen werden solche Bäume automatisch aus Daten gelernt und für Klassifikation oder Prognosen genutzt. Ihr Vorteil ist die Nachvollziehbarkeit – etwa bei der Frage, ob ein Kreditantrag anhand von Einkommen, Laufzeit und Vorgeschichte geprüft werden sollte.
Overfitting (Überanpassung) liegt vor, wenn ein Modell die Trainingsdaten samt Zufällen und Rauschen auswendig lernt, statt allgemeingültige Muster zu erfassen. Auf bekannten Daten wirkt es dann sehr genau, auf neuen Daten liefert es jedoch schlechte Ergebnisse. Erkennbar ist das an einer großen Lücke zwischen Trainings- und Testfehler. Gegenmaßnahmen sind mehr oder vielfältigere Daten, einfachere Modelle, Regularisierung, Dropout und Kreuzvalidierung.
