EnsembleAnsätze

Ensemble Ansätze bezeichnen in der Informatik und Statistik Ansätze, bei denen mehrere einzelne Modelle zu einem Gesamtergebnis kombiniert werden, um Vorhersagegenauigkeit, Robustheit oder Stabilität zu erhöhen. Die Grundidee ist, dass die Fehler einzelner Modelle teils unterschiedlich sind und sich in einer Ensemble gegenseitig ausgleichen oder ergänzen können. Die Aggregation der Vorhersagen erfolgt durch Mittelung (Regression), Mehrheits- oder Wahrscheinlichkeitsabstimmung (Klassifikation) oder durch einen Meta-Lernenden, der die Basis-Modelle kombiniert.

Die wichtigsten Klassen von Ensemble-Methoden sind Bagging, Boosting, Stacking und Voting. Bagging-Ansätze wie Random Forest reduzieren die Varianz durch das Training mehrerer Modelle auf unterschiedlichen Datenunterstichproben und aggregieren deren Vorhersagen. Boosting-Algorithmen wie AdaBoost, Gradient Boosting oder XGBoost bauen sequentiell Modelle auf, wobei spätere Modelle Fehler der Vorgänger korrigieren. Stacking kombiniert die Ausgaben mehrerer Basis-Modelle mithilfe eines Meta-Modells. Voting-Ensembles können Hard-Voting (Mehrheitsentscheidung) oder Soft-Voting (Wahrscheinlichkeitsfusion) verwenden.

Wichtige Designaspekte sind die Diversität der Basis-Modelle, die Kalibration und die Vermeidung von Datenleckagen. Ensemble-Methoden erfordern oft mehr Rechenleistung und können schwerer zu interpretieren sein, bieten aber insbesondere bei heterogenen Daten häufig bessere Gesamtleistungen. Anwendungen finden sich in vielen Bereichen des maschinellen Lernens, von Bild- und Sprachverarbeitung bis zu Tabellendatenbanken und Zeitreihenprognosen.