L2regularisering

L2regularisering, ook wel L2-regularisatie genoemd, is een techniek in statistiek en machine learning die een straf oplegt aan de grootte van de modelparameters om overfitting te voorkomen. Door een penalty toe te voegen aan de verliesfunctie worden grote gewichten afgeremd, wat de generalisatie naar nieuwe data ten goede kan komen. Het wordt toegepast in diverse modellen, waaronder lineaire regressie, logistieke regressie en neurale netwerken.

Wiskundig wordt de verliesfunctie gevormd door de originele foutmaat L(w) plus een regularisatieterm: J(w) = L(w) + λ ∑ j w_j^2, waarbij λ ≥ 0 de sterkte van de regularisatie bepaalt. In lineaire regressie leidt dit tot ridge-regressie, met oplossing w = (X^T X + λ I)^{-1} X^T y. Bij andere modellen geldt een vergelijkbare straf op de som van kwadraten van de gewichten, wat via gradient-descent-updates werkt.

Het belangrijkste effect is koopkrachtige shrinkage van de gewichten: de coefficients worden richting nul getrokken, wat variance vermindert maar bias kan verhogen. L2-regularisatie verdeelt de straf gelijkmatig over de parameters en gaat zelden nauwkeurige selectie van features uit, in tegenstelling tot L1-regularisatie.

Praktisch voeren medewerkers meestal standaardisatie van features uit, omdat de straf afhankelijk is van de schaal van de variabelen. Het kiezen van λ gebeurt via kruisvalidering of informatiecriteria. In neurale netwerken wordt L2 vaak aangeduid als weight decay.

Historisch is L2-regularisering gerelateerd aan Tikhonov-regularisatie; ridge-regressie werd in de volksmond bekend door Hoerl en Kennard.