Minstkwadraten

Minstkwadraten, in het Nederlands ook wel de methode van de kleinste kwadraten genoemd, is een statistische methode om parameters te schatten in een model door de som van de kwadraten van de residuen te minimaliseren. Het is een fundamentele techniek in regressie‑analyse en data fitting.

Historisch gezien is de methode ontwikkeld in de 18e eeuw door Adrien-Marie Legendre en later uitgebreid door Carl Friedrich Gauss. Sindsdien is ze wereldwijd de standaardmethode geworden voor het estimeren van lineaire relaties tussen variabelen.

In de klassieke lineaire vorm y = Xβ + ε zoekt minstkwadraten naar een β̂ die de residuen r = y − Xβ zo klein mogelijk maakt, oftewel de som van r_i^2 minimaliseert. De oplossing volgt uit de normale vergelijkingen X^T X β = X^T y, wat leidt tot β̂ = (X^T X)^{-1} X^T y als de randvoorwaarden voldaan zijn. Onder de Gauss‑Markov‑voorwaarden is OLS (ordinary least squares) de Best Linear Unbiased Estimator (BLUE).

Er bestaan varianten en uitbreidingen, zoals GLS (voor gegeneraliseerde of gecorreleerde/bij heteroscedasticiteit), WLS (gewogen minste kwadraten) en robuuste methoden tegen uitbijters. Belangrijke assumpties zijn lineariteit, onafhankelijkheid en homoskedasticiteit van de fouten, geen perfecte multicollineariteit en een verwachting van nul voor de fouten. Bij normale verdeling van de fouten zijn inferentiële toetsen zoals t‑ en F‑testen geldig.

Toepassingen vinden plaats in economie, sociale wetenschappen, natuurkunde en engineering. Computationeel is de methode meestal eenvoudig uit te voeren met bestaande statistische software; bij grote datasets kunnen numerieke methoden en regularisatie van pas komen.