säännöllistämistekijöistä

Säännöllistämistekijät ovat matemaattisia termejä, joita lisätään tai kerrotaan optimointiongelman tavoitefunktioon rankaisemaan monimutkaisuutta tai estämään ylisovittumista. Niiden päätehtävä on parantaa mallin yleistymiskykyä, eli sen kykyä toimia hyvin uudella, ennen näkemättömällä datalla. Yleisimpiä säännöllistämistekijöitä ovat L1- ja L2-säännöllistäminen.

L1-säännöllistäminen, joka tunnetaan myös nimellä Lasso, lisää tavoitefunktioon mallin kertoimien itseisarvojen summan. Tämä kannustaa mallia käyttämään harvempia ominaisuuksia ja voi siten johtaa sparsityyteen, eli siihen, että monet mallin kertoimista nollautuvat. Tämä voi olla hyödyllistä silloin, kun halutaan valita merkityksellisimmät muuttujat tai kun datassa on paljon redundanttia tietoa.

L2-säännöllistäminen, eli Ridge, lisää tavoitefunktioon mallin kertoimien neliöiden summan. Tämä pyrkii pienentämään kaikkia kertoimia tasaisesti, mutta ei välttämättä nollaamaan niitä kokonaan. L2-säännöllistäminen vähentää suurten kertoimien vaikutusta, mikä tekee mallista vähemmän herkän yksittäisille datapisteille ja auttaa torjumaan ylisovittumista.

Säännöllistämistekijöiden voimakkuutta säädetään hyperparametrilla, jota kutsutaan usein lambdaksi (λ). Suurempi lambda-arvo tarkoittaa voimakkaampaa säännöllistämistä ja siten yksinkertaisempaa mallia. Oikean lambda-arvon löytäminen on tärkeää, ja se tehdään tyypillisesti ristiinvalidointimenetelmillä. Säännöllistämistekijöitä käytetään laajalti koneoppimisessa, erityisesti regressio- ja luokitteluongelmissa.