kleinstekwadratenmethode

De kleinstekwadratenmethode, ook bekend als de methode van de kleinste kwadraten, is een wiskundige en statistische methode voor parameterestimatie en model fitting. Het doel is om een model zo te kiezen dat de som van de kwadraten van de residuen, de verschillen tussen waargenomen waarden en de modelvoorspellingen, minimaal is. De methode wordt toegepast bij data-analyse en regressie om onbekende parameters af te leiden uit meetgegevens.

Bij lineaire vorm werkt het meestal met y ≈ Xβ, waarbij X de ontleende variabelenmatrix is, y de vector met gemeten waarden en β de te schatten parameters. De oplossing is β = (X^T X)^{-1} X^T y, mits X^T X invertibel; in het algemeen kan β worden geschreven als β = X^+ y met de Moore-Penrose pseudoinverse. De methode is robuust voor aantallen waarnemingen groter dan het aantal parameters en geeft efficiënte schattingen onder aanname van rechte residuen met gelijke spreiding.

Er bestaan diverse varianten en uitbreidingen, zoals gewogen kleinste kwadraten (weighted least squares), waarbij elk residuum een gewicht krijgt, en generalized least squares dat ook correlaties of heteroscedasticiteit in de data accepteert. Voor nonlinearistische modellen worden iteratieve algoritmen gebruikt, zoals Gauss-Newton en Levenberg-Marquardt, die stap voor stap de parameters aanpassen om de residuen te minimaliseren.

Historisch spelen Legendre en Gauss een sleutelrol in de ontwikkeling van de methode. Legendre presenteerde in 1805 de basis, waarna Gauss de statistische interpretatie en bredere toepassingen uitbreidde. Vandaag de kleinstekwadratenmethode is een standaardinstrument in wetenschap, techniek en economie, met toepassingen variërend van kalibratie en regressie tot signaal- en beeldverwerking.