EnsembleLernens

Ensemblelernen bezeichnet Verfahren im maschinellen Lernen, die mehrere Basismodelle trainieren und deren Vorhersagen zu einer einzigen Entscheidung zusammenführen. Ziel ist es, die Vorhersageleistung robuster und genauer zu machen als ein Einzelmodell, indem Varianz reduziert, Bias gemindert und Generalisierung verbessert wird.

Zu den Hauptansätzen gehören Bagging, Boosting und Stacking. Bagging trainiert Modelle auf unterschiedlichen Stichproben der Trainingsdaten und kombiniert ihre Vorhersagen durch Mehrheitsabstimmung (Klassifikation) oder Mittelwert (Regression). Random Forest ist ein bekanntes Bagging-Verfahren mit vielen Entscheidungsbäumen.

Boosting arbeitet sequentiell: Jedes neue Modell versucht, Fehler der vorherigen Modelle zu korrigieren, wodurch schwer zu klassifizierende Beispiele besser berücksichtigt werden. Bekannte Vertreter sind AdaBoost, Gradient Boosting und dessen Weiterentwicklungen wie XGBoost. Boosting benötigt oft sorgfältige Regularisierung, da es zu Überanpassung neigen kann.

Stacking kombiniert die Vorhersagen mehrerer unterschiedlicher Basismodelle mithilfe eines Meta-Modells, das aus den Ausgaben der Basismodelle lernt, wie die Endvorhersage zu bilden ist.

Vorteile von Ensemblelernen umfassen häufig höhere Genauigkeit, bessere Robustheit und bessere Generalisierung. Zu den Nachteilen zählen erhöhter Rechenaufwand, größere Modellkomplexität und oft geringere Interpretierbarkeit. Anwendungen finden sich in Klassifikation, Regression sowie Bild- und Textverarbeitung.

Historisch entstand Ensemblelernen in den 1990er-Jahren mit Bagging-Ansätzen von Breiman; Boosting-Methoden wie AdaBoost entwickelten sich bald danach, gefolgt von vielen Varianten.