L1regressie

L1regressie, ook wel Lasso-regressie genoemd, is een methode voor lineaire regressie waarbij een L1-penalty op de regressiecoëfficiënten wordt toegepast. Het doel is een model te construeren dat zowel een goede fit heeft als zo weinig mogelijk niet-nuttige kenmerken bevat. Het optimaleβ wordt gevonden door te miniseren: minβ ||y − Xβ||2^2 + λ ||β||1, waarbij ||β||1 = Σj |β_j| en λ ≥ 0 een afstemmingsparameter is.

De L1-penalty bevordert sparsiteit: veel β_j worden exact nul, waardoor enkel geselecteerde kenmerken overblijven. Dit leidt tot eenvoudige, interpreteerbare modellen en kan bij hoge-dimensie data overfitting tegengaan. Voor L1-regressie is het gebruikelijk om de invoervariabelen te standaardiseren, omdat de penalty schaalafhankelijk is. De keuze van λ bepaalt de bias-variance trade-off; grotere λ geeft meer regulering en meer sparsiteit.

Oplossing en implementatie: het optimalisatieprobleem is convex maar niet differentieerbaar bij nul, waardoor speciale algoritmen nodig zijn, zoals coordinate descent of het LARS-algoritme (LARS-Lasso) om pad-achtige oplossingen over λ te genereren. L1-regressie kan ook worden toegepast op gegeneraliseerde lineaire modellen (bijvoorbeeld logistieke regressie met L1-penalty).

Voor- en nadelen: voordelen zijn automatische variabele selectie en betere interpretatie bij hoge-dimensionaliteit. Nadelen zijn onder meer dat bij sterk gecorreleerde predictoren Lasso willekeurig één van hen kan kiezen, wat tot inconsistente selectie kan leiden. Elastic net combineert L1 en L2-penalties om dit te mitigeren.

Geschiedenis en verwantschappen: Lasso werd in 1996 geïntroduceerd door Tibshirani. In Bayesian termen komt de L1-penalty overeen met een Laplace-prior op de coëfficiënten.