regularisointiparametri

Regularisointiparametri on keskeinen käsite koneoppimisessa ja tilastollisessa mallinnuksessa. Se on hyperparametri, joka määrittää regularisointimenetelmän voimakkuuden. Regularisointi on tekniikka, jolla pyritään estämään ylisovittumista (overfitting) malleissa. Ylisovittuminen tapahtuu, kun malli oppii koulutusdatan liian hyvin, mukaan lukien sen kohinan, ja menettää kykynsä yleistää uuteen, näkemättömään dataan.

Yleisimpiä regularisointitekniikoita ovat L1- ja L2-regularisointi. L1-regularisointi, joka tunnetaan myös nimellä Lasso, lisää mallin kustannusfunktioon painokertoimien itseisarvojen summan kerrottuna regularisointiparametrilla. Tämä voi johtaa joidenkin painokertoimien nollautumiseen, mikä tekee mallista harvemman ja voi toimia ominaisuusvalintana. L2-regularisointi, eli Ridge-regressio, lisää kustannusfunktioon painokertoimien neliöiden summan kerrottuna regularisointiparametrilla. Tämä pyrkii pienentämään painokertoimia kohti nollaa, mutta harvoin nollauttamaan niitä täysin, mikä tasoittaa mallia ja vähentää herkkyyttä yksittäisille datapisteille.

Regularisointiparametrin arvo vaikuttaa suoraan regularisoinnin vaikutukseen. Jos regularisointiparametri on nolla, regularisointia ei käytetä lainkaan. Mitä suurempi parametrin arvo on, sitä vahvempi on regularisointi, mikä todennäköisemmin estää ylisovittumista, mutta voi samalla johtaa alisovittumiseen (underfitting), jossa malli on liian yksinkertainen eikä pysty kuvaamaan datan olennaisia piirteitä. Siksi sopivan regularisointiparametrin valinta on tärkeää mallin suorituskyvyn optimoimiseksi. Tämä tapahtuu usein ristivalidoinnin avulla, jossa eri parametrin arvoja kokeillaan ja valitaan se, joka antaa parhaan tuloksen validoinnin datalla.