L2säännöllöintiin

L2-säännöllöinti (L2 regularization) on koneoppimisessa käytetty regularisointitekniikka, jonka tarkoituksena on estää mallin ylisovittumista. Ylisovittuminen tapahtuu, kun malli oppii koulutusdatan liian hyvin, mukaan lukien sen kohinan, ja sen suorituskyky heikkenee uusilla, ennen näkemättömillä tiedoilla.

L2-säännöllöinti lisää mallin kustannusfunktioon (loss function) termin, joka on verrannollinen mallin painokertoimien neliöiden summaan. Tämä lisäys kannustaa mallia käyttämään pienempiä painokertoimia. Pienemmät painokertoimet tekevät mallista yksinkertaisemman ja vähemmän herkän yksittäisten koulutusdatan pisteiden vaihteluille.

Matemaattisesti L2-säännöllöinti lisätään tyypilliseen kustannusfunktioon seuraavasti: Uusi kustannusfunktio = Alkuperäinen kustannusfunktio + λ * Σ(w^2), missä w ovat mallin painokertoimet ja λ (lambda) on säännöllöintiparametri, joka kontrolloi regularisoinnin voimakkuutta. Suurempi λ-arvo johtaa pienempiin painokertoimiin ja voimakkaampaan regularisointiin.

L2-säännöllöintiä kutsutaan myös harvenemattomaksi regularisoinniksi (weight decay), koska se vähentää iteratiivisesti painokertoimien arvoja koulutuksen aikana. Toisin kuin L1-säännöllöinti, L2-säännöllöinti ei yleensä nollaa painokertoimia, vaan pienentää niitä kohti nollaa. Tämä tekee siitä hyödyllisen silloin, kun halutaan säilyttää kaikki piirteet mallissa, mutta niiden vaikutusta halutaan vähentää.