minimalekwadraatproblemen

Minimalekwadraatproblemen, meestal bekend als least squares-problemen, vormen een wiskundig vraagstuk waarbij men zoekt naar een vector x zodat Ax zo dicht mogelijk bij b ligt in de Euclidische norm. Gegeven A in R^{m×n} en b in R^{m}, is het doel min_x ||A x − b||_2^2. Bij overdeterminate systemen (meestal m ≥ n) bestaan vaak geen exacte oplossingen; de beste oplossing minimizeert de som van de kwadraten van de residuen.

In de lineaire setting gaat het dus om min_x ||A x − b||^2. Varianten omvatten gewogen least squares, waarbij men min_x ||W(Ax − b)||^2 optimaliseert met W diagonaal positief; en generalized least squares, die rekening houdt met correlatedie fouten via min_x (Ax − b)^T Σ^{-1} (Ax − b) waarbij Σ de foutencovariantie weergeeft.

Oplossingen kunnen op verschillende manieren worden verkregen. Als A de kolomvectorruimte volledig bepaalt (full column rank), dan is de unieke minimizer x = (A^T A)^{-1} A^T b, waardoor de normale vergelijkingen A^T A x = A^T b worden opgelost. Veelgebruikte oplossingsmethoden zijn QR-factorisatie A = QR (x = R^{-1} Q^T b), en de singular-waardedecompositie A = U Σ V^T (x = V Σ^{-1} U^T b). Voor grote of sparsige systemen worden ook iteratieve methoden gebruikt, zoals conjugate gradient op de normale vergelijkingen, of gespecialiseerde algoritmen als LSQR en LSMR.

Er zijn verschillende varianten, zoals nonnegatieve least squares (x ≥ 0), bounded least squares en regularisatie. Bij Tikhonov-regularisatie (ridge) wordt min_x ||A x − b||^2 + λ||Lx||^2 toegepast, wat stabiliteit en voorkoming van overfitting bevordert. Als het systeem onderdeterminate is, bestaan oneindig veel oplossingen; doorgaans wordt de minimum-norm oplossing gegeven door de Moore–Penrose-pseudoinverse. Minimalekwadraatproblemen vinden toepassing in datafitting, regressie, beeld- en signaalverwerking, statistiek en calibratie.