BoostingMethoden

BoostingMethoden bezeichnet eine Klasse von Ensemble-Verfahren im maschinellen Lernen, bei der mehrere schwache Modelle nacheinander trainiert werden. Jedes Modell versucht, die Fehler der vorherigen Modelle zu korrigieren, sodass das Endmodell durch gewichtete Addition der Teilmodelle eine bessere Leistung erzielt.

Das Grundprinzip besteht darin, die Trainingsgewichte so anzupassen, dass schwierige Beispiele stärker berücksichtigt werden. In der Regel werden schwache Lernmodelle wie kleine Entscheidungsbäume verwendet. Die Vorwärtskombination erfolgt schrittweise, während der Verlust oder Fehler in jedem Schritt minimiert wird oder Residuen zur nächsten Lernstufe dienen.

Wichtige Algorithmen sind AdaBoost, Gradient Boosting, XGBoost, LightGBM und CatBoost. AdaBoost erhöht iterativ die Gewichte der falsch klassifizierten Beispiele. Gradient Boosting baut neue Modelle auf den Residuen auf und nutzt differenzierbare Verlustfunktionen. XGBoost, LightGBM und CatBoost bieten Optimierungen für Geschwindigkeit und Regularisierung.

Vorteile: starke Leistungssteigerung mit relativ einfachen Basislearners, gute Flexibilität, Handling verschiedener Zielarten. Nachteile: Training kann zeitintensiv sein, empfindlich gegenüber Ausreißern (insbesondere AdaBoost), Gefährdung durch Overfitting ohne Regularisierung; erfordert sorgfältige Hyperparameter-Tuning.

Anwendungen: Klassifikation, Regression, Ranking; oft in Kaggle-Wettbewerben und Praxisdaten. Herausforderungen: Interpretierbarkeit gering, Modellgröße, Umgang mit fehlenden Werten; Standard-Implementierungen unterstützen Validierung, Early Stopping, Regularisierung.