Variablenauswahl

Variablenauswahl bezeichnet den Prozess der Identifikation relevanter Prädiktoren aus einer Menge potenzieller Merkmale in statistischen Modellen. Das Ziel besteht darin, Modellkomplexität zu reduzieren, Interpretierbarkeit zu erhöhen und die Vorhersageleistung zu verbessern, ohne wesentliche Informationsinhalte zu verlieren.

Methodisch wird Variablenauswahl häufig in drei Kategorien eingeteilt: Filtermethoden, Wrapper-Methoden und eingebettete Methoden. Filtermethoden bewerten Merkmale unabhängig vom Modell, beispielsweise anhand der Korrelation mit der Zielgröße oder informationstheoretischer Kenngrößen; sie sind schnell, modellunabhängig, können aber Modellinformationsverlust verursachen.

Wrapper-Methoden durchsuchen systematisch Merkmalsuntersets und verwenden ein zu schätzendes Modell, etwa durch Vorwärts- oder Rückwärtsauswahl; sie können leistungsstarke, aber rechenintensive und anfällige Überanpassung sein. Eingebettete Methoden integrieren die Merkmalsauswahl in den Modellschätzprozess, zum Beispiel Lasso (L1-Regularisierung) oder Elastic Net, die Koeffizienten sparsifizieren.

Bei der Bewertung der Auswahl spielen Informationskriterien wie AIC oder BIC sowie Kreuzvalidierung eine Rolle, um das Gleichgewicht zwischen Passung und Komplexität zu prüfen. In hochdimensionalen Settings (viele Merkmale, begrenzte Stichprobe) erhält man oft bessere Ergebnisse durch Regularisierung oder Dimensionsreduktion statt unüberwachter Selektion.

Praktisch müssen Aspekte wie Multikollinearität, Skalierung der Merkmale und Stabilität der Auswahl berücksichtigt werden. Die Zielsetzung (Vorhersagegenauigkeit vs. Interpretierbarkeit) bestimmt die geeignete Methode. Variablenauswahl findet Anwendung in linearen und logistischen Regressionsmodellen, Cox-Modellen sowie in vielen maschinellen Lernverfahren.