regressionen

Regressionen bezeichnet eine Familie von statistischen Modellen, die die Beziehung zwischen einer abhängigen Variablen Y und einer oder mehreren unabhängigen Variablen X beschreiben. Ziel ist die Schätzung der Einflussgrößen und die Vorhersage neuer Beobachtungen sowie das Verständnis der Zusammenhänge.

Zu den häufigsten Formen gehören die lineare Regression (einfache und multiple), nichtlineare Regression, logistische Regression für binäre Outcomes und regulierte Regressionen wie Ridge, Lasso und Elastic Net. Auch robuste Regressionen und nichtparametrische Ansätze wie Spline-Regressionen gehören dazu.

Beim linearen Modell gilt Y = β0 + β1 X1 + ... + βp Xp + ε, wobei ε der Fehlerterm mit Erwartung 0 und endlicher Varianz ist. Wichtige Annahmen umfassen Linearität der Beziehungen, Unabhängigkeit der Fehler, Homoskedastizität und Normalverteilung der Fehler in vielen Anwendungsfällen. In der Praxis werden Abweichungen durch Transformationen oder alternative Modelle adressiert.

Die Schätzung erfolgt typischerweise durch Kleinste Quadrate (OLS). Regulierte Varianten wie Ridge, Lasso und Elastic Net fügen eine Strafe hinzu, um Überanpassung zu verhindern und Modelle auch bei vielen Prädiktoren stabil zu halten.

Bewertung und Vergleich von Regressionen nutzen Kennzahlen wie R-Quadrat, angepasstes R-Quadrat, RMSE oder MAE sowie Informationskriterien wie AIC oder BIC. Validierung erfolgt häufig durch Kreuzvalidierung oder separate Testdaten.

Anwendungsgebiete umfassen Wirtschaft, Sozialwissenschaften, Medizin und Umweltforschung. Regressionen unterscheiden sich von bloßer Korrelation dadurch, dass sie eine Richtung der Beziehung modellieren und Vorhersagen ermöglichen; Kausalität erfordert zusätzliche Annahmen oder experimentelle Designs.