Regularisointia

Regularisointi on menetelmä tilastossa ja koneoppimisessa, jossa oppimisalgoritmin tavoitteeseen lisätään rangaistus- tai epävarmuustermi, jotta malli ei sopeudu liikaa koulutusdataan. Sen tarkoituksena on parantaa yleistymistä sekä stabiloida ratkaisuja epävakaissa inversiotehtävissä tai pienillä ja kohinaisilla",

datamäärillä. Yleisin tapa kirjoittaa minimointitehtävä on muotoilla kustannusfunktio J(θ) plus regarointi termi λR(θ), missä λ on nouseva tai laskeva säädin. R(θ) kannustaa yksittäisten parametrien pienentämiseen tai rakenteen säilyttämiseen.

Yleisimmät regularisointimuodot

- L2-regularisointi (ridge): R(θ) = ||θ||2^2; vähentää suuria koepytimiä ja tasapainottaa bias-variance-tason. Tikhonov-regularisointi on sen matemaatinen muoto inversiotehtävissä.

- L1-regularisointi (lasso): R(θ) = ||θ||1; kannustaa harvojen parametrien (nollien) syntymiseen, jolloin malli harvenee ja tulkittavuus paranee.

- Elastic Net: yhdistää L1- ja L2-regularisoinnin ominaisuudet.

- Muut muodot: spatiaaliset tai rakenteelliset rangaistukset, dropout tai varioivat rajoitukset sekäBayesin näkökulma, jossa priorin kautta säädetään epävarmuutta.

Käyttökohteet ja käytännön näkökohdat

Regularisointia käytetään tilastollisissa malleissa, koneoppimisessa, kuvankäsittelyssä ja signaalisovelluksissa sekä epätavallisesti epätäydellisiin tai kohinalaisiin datasettiin. Säädäλä λ-arvo valitaan usein ristivalitsemalla (cross-validation) tai tietoteoreettisin kriteerein. Oikea valinta tasapainottaa biasin ja varianssin ja voi estää virheellisen mallin syntymisen sekä parantaa ennusteiden luotettavuutta.