GradientBoostingModelle
GradientBoostingModelle sind eine Familie von Ensemble-Verfahren im maschinellen Lernen, die mehrere schwache Modelle schrittweise zu einem starken Gesamtsystem kombinieren. Im Kern bauen sie additive Modelle in einer schrittweisen Vorgehensweise, indem sie eine differenzierbare Verlustfunktion optimieren und die Fehler der bisherigen Teilmodelle berücksichtigen. Typischerweise kommen kleine Entscheidungsbäume als schwache Lernmodelle zum Einsatz.
Der Trainingsprozess besteht darin, bei jedem Schritt ein neues Baum-Modell zu lernen, das die Fehler (genauer:
Zu den bekanntesten Implementierungen gehören Gradient Boosting selbst, XGBoost, LightGBM und CatBoost. XGBoost nutzt zusätzlich second-order
Anwendungen liegen vor allem im Bereich tabellarischer, strukturierter Daten, etwa Vorhersage numerischer Werte oder binärer Kategorien.
Typische Hyperparameter betreffen die Anzahl der Bäume, Lernrate, maximale Baumlänge, Subsampling-Rate sowie Regularisierungsterms. Häufig verwendet werden