Säännöllistämiseen

Säännöllistämiseen viitataan tilastotieteessä ja koneoppimisessa menetelmiin, joilla mallin monimutkaisuutta rajoitetaan lisäämällä kustannus- tai säännöstekijöitä. Tavoitteena on vähentää ylikoulutusta ja parantaa yleistettävyyttä etenkin kun dataa on vähän tai ominaisuuksia paljon. Säännöllistämistä käytetään erityisesti regressio- ja luokittelumalleissa sekä monimutkaisissa malleissa kuten neuroverkkoja treenattaessa.

Yleisimmät säännöistä ovat L1- ja L2-säännöllistäminen. L2-säännöllöinnissä käytetään koeffisienttien neliöityä summaa (Ridge), mikä pienentää suuria arvoja johtamalla pienempiin koeffisientteihin. L1-säännöllöinnissä käytetään koeffisienttien absoluuttisten arvojen summaa (Lasso), mikä voi ajaa osan koeffisienteista tarkasti nolliksi ja siten tehdä mallista harvemman. Elastic Net yhdistää nämä kaksi lähestymistapaa. Muita esimerkkejä ovat ryhmälasso ja grafiikan tai Bayesis-penalit.

Matemaattisesti säännöllistämön minimointi voidaan kirjoittaa muodossa: minimoi häviöfunktio L(y, X, w) + λ R(w), jossa R(w) on valittu normaali tai muu säännöstermina. Säädettävä parametri λ hallitsee säännöllistämisen voimakkuutta: suurempi λ tiukentaa koeffisienteja, pienempi λ sallii enemmän vaikutusta dataan.

Sovelluksia ovat tilastollinen regressio, logistinen luokittelu, kuvan- ja signaalinkäsittely, sekä monimutkaisissa neurolokujärjestelmissä. Valinta tapahtuu usein ristiinvalidoinnilla ja tietokohdista riippuen. Historia ulottuu Tikhonov-regulaatioon ja laajenee nykypäivän ennuste- ja oppimismalleihin.