Regressionsmodell

Ein Regressionsmodell beschreibt die Beziehung einer abhängigen Variable Y zu einer oder mehreren unabhängigen Variablen X. Ziel ist es, Muster zu erfassen, Vorhersagen zu ermöglichen und Zusammenhänge zu interpretieren. Am häufigsten ist die lineare Regression, bei der Y als lineare Funktion der X-Werte modelliert wird, z. B. Y = β0 + β1X1 + … + βpXp + ε.

Die gängigste Schätzung ist die Kleinste-Quadrate-Schätzung (OLS). Sie bestimmt Koeffizienten so, dass die Summe der quadrierten Abweichungen zwischen beobachtetem und vorhergesagtem Y minimiert wird. Neben OLS gibt es robuste, gewichtete oder Likelihood-basierte Ansätze, z. B. bei nicht normalverteilten Fehlern.

Wichtige Annahmen umfassen Linearität, Unabhängigkeit der Fehler, Homoskedastizität und Normalverteilung der Fehler für Inferenz. Die Güte eines Modells misst man oft mit R-Quadrat, angepasstes R-Quadrat, RMSE oder MAE. Validierung erfolgt meist durch Kreuzvalidierung oder Training-/Test-Splits, um Überanpassung zu verhindern.

Zu Erweiterungen gehören Generalisierte Lineare Modelle (GLMs) für nicht normalverteilte Y, z. B. logistische Regression. Regressionen können durch Regularisierung (Ridge, Lasso, Elastic Net) gegen Überanpassung geschützt werden. Nichtlineare Formen umfassen Polynome, Splines, Kernel-Methoden oder Bayesian Regression.

Anwendungen finden sich in Wirtschaft, Sozialwissenschaften, Technik und Umweltforschung. Beachten Sie: Regression zeigt Zusammenhänge, nicht automatisch Kausalität; Kausalanalysen erfordern spezielle Designs. Datenqualität, Multikollinearität und Ausreißer beeinflussen Ergebnisse.