L2säännöllistys

L2-säännöllistys, tunnettu myös nimellä painorappeutuminen tai painon vaimennus, on koneoppimisessa ja erityisesti neuroverkoissa käytetty regularisointitekniikka. Sen päätavoitteena on estää mallin ylisopeutumista harjoitusdataan. Ylisopeutuminen tapahtuu, kun malli oppii harjoitusdatan liian tarkasti, mukaan lukien sen kohinan ja satunnaiset vaihtelut, mikä heikentää sen kykyä yleistää uuteen, näkemättömään dataan.

L2-säännöllistys toimii lisäämällä mallin kustannusfunktioon termin, joka on verrannollinen mallin painojen neliöiden summaan. Matematiikassa tämä tarkoittaa, että kustannusfunktio saa muodon J = E + λ * ||w||^2, missä J on lopullinen kustannusfunktio, E on alkuperäinen virhefunktio (esim. keskineliövirhe), λ (lambda) on säännöllistysparametri, joka säätelee regularisoinnin voimakkuutta, ja ||w||^2 on mallin painovektorin Euklidisen normin neliö. Tämä lisätermi kannustaa mallia pitämään painonsa pieninä.

Pienten painojen ansiosta malli on yleensä yksinkertaisempi ja vähemmän herkkä yksittäisille datan pisteille. Kun mallia koulutetaan, optimointialgoritmin on tasapainotettava alkuperäisen virheen minimointi ja painojen pienuuden säilyttäminen. Tämä johtaa tasapainoisempaan malliin, joka yleistää paremmin. L2-säännöllistys ei nollaa painoja kokonaan, vaan pienentää niitä vähitellen. Säännöllistysparametrin λ valinta on tärkeää; liian suuri arvo voi johtaa aliopeutumiseen, jossa malli on liian yksinkertainen ja ei kykene oppimaan dataa riittävän hyvin.