L2säännöllistämiset

L2-säännöllistämiset, tunnetaan myös nimellä Ridge-regressio, ovat yleinen menetelmä koneoppimisessa, jota käytetään mallien ylisovittumisen estämiseen. Se on lineaarisen regressiomallin muunnos, joka lisää rangaistustermin mallin kustannusfunktioon. Tämä rangaistustermi perustuu mallin painokertoimien neliöiden summaan kerrottuna säännöllistämisparametrin, usein merkitty lambda (λ), arvolla.

Tavoitteena on vähentää mallin monimutkaisuutta ja siten parantaa sen yleistymiskykyä uusille, näkemättömille tiedoille. Kun L2-säännöllistämistä sovelletaan, malli pyrkii minimoimaan paitsi ennustusvirheen myös painokertoimien suuruuden. Tämä johtaa pienempiin painokertoimiin verrattuna tavalliseen pienimmän neliösumman regressioon (OLS). Suuret painokertoimet voivat viitata siihen, että malli on liian herkkä koulutusdatan kohinalle.

Säännöllistämisparametrilla λ on keskeinen rooli. Pieni λ-arvo vastaa vähempää säännöllistämistä ja lähestyy OLS-regressiota. Suuri λ-arvo puolestaan lisää painokertoimiin kohdistuvaa rangaistusta merkittävästi, mikä voi johtaa malliin, jossa monet painokertoimet ovat lähellä nollaa, vaikka ne eivät välttämättä ole täsmälleen nollia kuten L1-säännöllistämisessä (Lasso). Oikean λ-arvon valinta tehdään yleensä ristiinvalidointimenetelmillä. L2-säännöllistämistä käytetään laajasti esimerkiksi neuroverkoissa ja muissa monimutkaisissa malleissa.