KleinsteQuadrateMethode

KleinsteQuadrateMethode, auch bekannt als Least Squares, ist ein standardisiertes statistisches Verfahren zur Schätzung der Parameter eines linearen Modells, indem die Summe der quadratischen Residuen minimiert wird. Gegeben sind Beobachtungen y im Raum R^n und Prädiktoren X in R^{n×p}. Das lineare Modell lautet y = Xβ + ε, wobei β ∈ R^p die zu schätzenden Parameter sind und ε den Fehlerterm darstellt. Die Methode bestimmt β_hat, die S(β) = (y − Xβ)^T(y − Xβ) minimiert. Falls X die Spalten vollrang hat, ergibt sich β_hat = (X^T X)^{-1} X^T y, und die angepassten Werte sind ŷ = Xβ_hat mit Residuen e = y − ŷ.

Annahmen und Eigenschaften: Zunächst wird E[ε] = 0 und Var(ε) = σ^2 I_n angenommen, was Homoskedastizität und Unabhängigkeit der Fehler bedeutet. Unter diesen Bedingungen gilt der Gauss–Markov-Satz, dass β_hat der BLUE (best linear unbiased estimator) ist. Wenn die Fehler zusätzlich normalverteilt sind, entspricht β_hat auch dem Maximum-Likelihood-Schätzer.

Varianten und Erweiterungen: Generalisierte Kleinste-Quadrate (GLS) behandeln korrelierte oder heteroskedastische Fehler durch eine bekannte Kovarianzmatrix Ω, mit β_hat = (X^T Ω^{-1} X)^{-1} X^T Ω^{-1} y. Gewichtete Kleinste Quadrate (WLS) sind ein Spezialfall. Nichtlineare oder regelmäßisierte Formen (z. B. Ridge, Lasso) werden verwendet, wenn Modelle nichtlinear sind oder Multikollinearität bzw. Variablenauswahl eine Rolle spielen.

Anwendungen und Grenzen: Die Methode findet breite Anwendung in Ökonometrie, Technik, Biowissenschaften und Datenanalyse zur Trendanpassung und Inferenz. Zu den Limitationen gehören Robustheit gegenüber Ausreißern, Abhängigkeit von der richtigen Modellierung der Linearkette, Multikollinearität sowie Verletzungen der Annahmen zu Heteroskedastizität oder Unabhängigkeit der Fehler.