L2regularisaatiossa

L2 regularisaatio, tunnetaan myös nimellä Ridge-regressio, on koneoppimisessa käytetty tekniikka, jonka tarkoituksena on estää ylisovittamista (overfitting) malleissa. Se toimii lisäämällä mallin kustannusfunktioon termiä, joka on verrannollinen mallin painokertoimien neliöiden summaan. Tämä lisäys rankaisee suuria painokertoimia ja kannustaa mallia käyttämään pienempiä painokertoimia. Pienemmät painokertoimet tekevät mallista vähemmän herkän yksittäisille datapisteille ja yleistävät paremmin uuteen, näkemättömään dataan.

Kun L2 regularisaatiota sovelletaan, kustannusfunktio muuttuu. Alkuperäisen kustannusfunktion (esim. keskineliövirhe regressiossa) päälle lisätään regularisaatiotermi. Tämä termi on yleensä muotoa lambda kertaa painokertoimien neliöiden summa, missä lambda (λ) on hyperparametri, joka säätelee regularisaation voimakkuutta. Suurempi lambda-arvo johtaa vahvempaan regularisaatioon ja pienempiin painokertoimiin. Mallin koulutuksen aikana pyritään minimoimaan tämä uusi, regularisoitu kustannusfunktio.

L2 regularisaation keskeinen etu on sen kyky tasoittaa mallin päätösrajoja ja vähentää varianssia. Toisin kuin L1 regularisaatio (Lasso), L2 regularisaatio ei yleensä nollaa painokertoimia kokonaan, vaan pienentää niitä kohti nollaa. Tämä tekee siitä hyödyllisen tilanteissa, joissa oletetaan, että kaikki piirteet ovat potentiaalisesti merkityksellisiä, vaikkakin eri määrissä. Regularisaation käyttö vaatii usein hyperparametrin lambdan virittämistä ristiinvalidointimenetelmillä optimaalisen suorituskyvyn saavuttamiseksi.