säännöllistämisparametri

Säännöllistämisparametri on hyperparametri, jolla säädetään säännöllistämisen voimakkuutta tilastollisessa tai koneoppimisessa mallin estimoinnissa. Säännöllistämisessä virhefunktion lisäksi lisätään rangaistus- tai normi-termi, jonka paino määräytyy tämän parametrin mukaan. Yleisessä muodossa minimointitehtävä on L(y, Xβ) + λR(β), jossa L mittaa sovituksen virhettä ja R on säännöllistämistekijä (esim. normi). Mitä suurempi λ, sitä vahvempi säännöllistävä vaikutus.

Esimerkkejä säännöllistämistekijöistä: L2-regularisointi (ridge) käyttää R(β)=||β||^2_2; L1-regularisointi (lasso) käyttää R(β)=||β||_1; elastic-net yhdistää molemmat: λ [α||β||_1 + (1-α)||β||^2_2]. Säännöllistämisparametrin vaikutus: suurempi λ pienentää mallin varianssia ja kasvattaa mahdollisesti harhaa, mutta auttaa estämään ylikoulutusta; pienempi λ sallii paremmin sovittaa dataa, mutta riski on suurempi varianssi ja ylikoulutus.

Parametrin valinta on hyperparametrien säätöä. Yleisimpiä menetelmiä ovat ristiinvalidointi (k-fold CV) tai erillisen validoiva- tai testijoukon hyödyntäminen. On suositeltavaa standardoida ominaisuudet ennen säännöllistämistä, jotta säännöllistämistekijä vaikuttaa kertoimiin tasapuolisesti. Säännöllistämisparametriä käytetään laajasti mallien, kuten lineaaristen ja logististen mallien sekä neuroverkkojen painonsäätelemisessä (weight decay).