Schichtenensembles

Schichtenensembles, auch als Stacking bekannt, sind eine Form des Ensemble-Learnings, bei der die Vorhersagen mehrerer Basis-Modelle als Eingaben für ein höherstufiges Modell (Meta-Lerner) verwendet werden, das die endgültige Vorhersage erzeugt. Der Begriff betont die mehrschichtige Struktur, in der Modelle auf verschiedenen Ebenen zusammenwirken.

Auf der ersten Schicht (Level-0) stehen diverse Basis-Modelle wie Entscheidungsbäume, lineare Modelle, Support Vector Machines oder neuronale Netze, die unabhängig trainiert werden. Die Ausgaben dieser Modelle werden als Merkmale für die zweite Schicht (Level-1), den Meta-Lerner, genutzt, der die finale Vorhersage liefert. In tieferen Varianten können mehrere Layer hintereinander arbeiten, wobei jede Schicht die Vorhersagen der vorherigen nutzt. Zur Vermeidung von Überanpassung kommen Kreuzvalidierung-basierte Out-of-Fold-Vorhersagen oder Blending mit einem Holdout-Satz zum Einsatz.

Vorteile ergeben sich aus der Diversität der Basis-Modelle: Unterschiedliche Modelle können unterschiedliche Muster erfassen, wodurch sich die Gesamtleistung steigern kann. Nachteile sind erhöhter Rechenaufwand, größere Modellkomplexität und das Risiko von Überanpassung, wenn Validierung unsachgemäß durchgeführt wird.

Anwendungen umfassen Klassifikation und Regression. Schichtenensembles werden häufig in Wettbewerben oder Produktsystemen eingesetzt, in denen Verbesserungen gegenüber Einzelmodellen erzielt werden sollen. Die Methode wurde formal durch Stacked Generalization von Wolpert im Jahr 1992 beschrieben und ist heute in vielen ML-Toolchains verfügbar.