Ridgeregressie

Ridgeregressie is een regressietechniek in statistiek en machine learning die L2-regularisatie toevoegt aan de gewone kleinste-kwadraatoptimalisatie om multicollineariteit tussen voorspellers tegen te gaan en de voorspellende prestaties te verbeteren.

De formele formulering minimizeert over de vector β van regressiecoëfficiënten: som_i (y_i - x_i^T β)^2 + λ som_j β_j^2, met λ ≥ 0. Voor gestandaardiseerde data geeft de gesloten oplossing β̂ = (X^T X + λ I)^{-1} X^T y. Hier staat X voor de ontwerpmatrix en y voor de responsvariabele.

As λ toeneemt, worden de coëfficiënten steeds sterker afgetopt richting nul. In tegenstelling tot gewone OLS vermindert ridge de variantie van de schattingen, maar introduceert het extra bias. Dit bias-variance trade-off maakt ridge vooral nuttig bij datasets met veel collineaire voorspellende variabelen.

Praktisch wordt vaak eerst de predictorvariabelen gestandaardiseerd, zodat de straffen uniform zijn. De regelparameter λ wordt meestal gekozen via kruisvalidering (bijv. k-voudige CV) of via alternatieve criteria zoals generalized cross-validation.

Ridgeregressie is een voorbeeld van Tikhonov-regularisatie en heeft een Bayesian interpretatie als een Gaussian-prior op de coëfficiënten. Het verschijnt als alternatief voor L1-regularisatie (lasso), terwijl ridge zelden coëfficiënten exact op nul laat staan en lasso wel kan selecteren.