L2säännöllöinnistä

L2-säännöllöinti, joka tunnetaan myös nimellä L2-regularization tai Ridge-regressio, on yleinen tekniikka koneoppimisessa ja tilastollisessa mallintamisessa, jota käytetään ylisovituksen estämiseen. Se on muunnos pienimmän neliösumman menetelmästä, johon lisätään ylimääräinen rangaistustermi mallin kertoimien kokoon. Tämän rangaistuksen tarkoituksena on pienentää mallin monimutkaisuutta ja siten parantaa sen yleistymiskykyä uuteen, näkemättömään dataan.

L2-säännöllöinnissä rangaistustermi on suhteessa mallin kertoimien neliöiden summaan. Matemaattisesti tämä ilmenee siten, että mallin kustannusfunktioon lisätään termi, joka on verrannollinen kertoimien vektoriin $\mathbf{w}$ sen L2-normin neliöllä: $\lambda \|\mathbf{w}\|_2^2$, missä $\lambda$ on säännöllistämisparametrin vahvuutta säätelevä hyperparametri. Suurempi $\lambda$ johtaa pienempiin kerroinkoon, mikä vähentää mallin herkkyyttä yksittäisille datapisteille ja tekee siitä vakaamman. L2-säännöllöinti siis pakottaa kertoimet lähelle nollaa, mutta ei tyypillisesti täsmälleen nollaksi, toisin kuin L1-säännöllöinti (Lasso). Tämä tekee L2-säännöllöinnistä hyödyllisen silloin, kun kaikki piirteet oletetaan olevan merkityksellisiä jossain määrin. Se on erityisen tehokas lineaarisissa malleissa, kuten lineaarisessa regressiossa ja logistisessa regressiossa.