KleinsteQuadrateAnsatz

KleinsteQuadrateAnsatz, auch bekannt als Methode der kleinsten Quadrate, ist ein Verfahren zur Schätzung von Parametern eines Modells, bei dem die Summe der quadrierten Abstände zwischen beobachteten Werten und Modellvorhersagen minimiert wird. Er wird häufig in der Regression, der Kurvenanpassung und der Datenapproximation eingesetzt.

In einem linearen Modell wird y = Xβ + ε angenommen, wobei y der Vektor der Beobachtungen, X die Designmatrix, β der Parametervektor und ε der Fehlervektor ist. Ziel ist die Wahl von β, sodass die Funktion S(β) = ||y − Xβ||^2 minimiert wird. Für lineare Modelle führt dies zu den Normalgleichungen X^T X β = X^T y; eine Lösung ist β_hat = (X^T X)^{-1} X^T y, vorausgesetzt, X^T X ist invertierbar. Bei numerischer Instabilität kommen auch QR-Zerlegung oder Singulärwertzerlegung (SVD) zum Einsatz.

Eigenschaften und Varianten: Unter den Gauss-Markov-Annahmen ist der OLS-Schätzer β_hat unverzerrt und hat bei Homoskedastizität und Unabhängigkeit der Fehler geringste Varianz unter linearen unverzerrten Schätzern. Bei Normalverteilung der Fehler liefert OLS zusätzlich Maximum-Likelihood-Schätzungen. Varianten umfassen gewichtete kleinste Quadrate (WLS) bei Heteroskedastizität und generalisierte kleinste Quadrate (GLS) bei korrelierten Fehlern. Robustheitsmethoden adressieren Ausreißer.

Historisch geht die Entwicklung auf Legendre und Gauss zurück. Anwendungen finden sich in Statistik, Ökonometrie, Ingenieurwesen und Naturwissenschaften, wo modellbasierte Datenanpassung und Parameterinterpretation zentral sind.