Regulaatioparametria

Regulaatioparametri on käsite, joka esiintyy useilla tieteen ja tekniikan aloilla, erityisesti tilastotieteessä, koneoppimisessa ja signaalinkäsittelyssä. Sen ensisijainen tehtävä on hallita mallin monimutkaisuutta ja estää ylisovittumista. Ylisovittumisessa malli oppii opetusdatan liian hyvin, mukaan lukien sen kohinan, ja menettää kykynsä yleistää uuteen, näkemättömään dataan.

Regulaatioparametri, usein merkitty kreikkalaisella kirjaimella lambda (λ) tai alfana (α), on positiivinen luku, joka säätelee lisätyn regulaatiotermin voimakkuutta mallin kustannusfunktiossa. Kustannusfunktio mittaa mallin virhettä datassa. Kun regulaatiotermi lisätään, se rankaisee mallia suuremmista parametrien arvoista tai monimutkaisemmista rakenteista. Mitä suurempi regulaatioparametrin arvo on, sitä voimakkaammin mallia rangaistaan monimutkaisuudesta, mikä johtaa yksinkertaisempaan malliin ja vähentää ylisovittumisen riskiä. Kääntäen pieni regulaatioparametrin arvo sallii mallin olla monimutkaisempi, mikä voi johtaa parempaan sovittumiseen opetusdataan, mutta myös suurempaan ylisovittumisen todennäköisyyteen.

Yleisimpiä regulaatiomuotoja ovat L1-regulaatio (Lasso) ja L2-regulaatio (Ridge). L1-regulaatio lisää parametrien itseisarvojen summan kustannusfunktioon ja voi johtaa harvoihin malleihin, joissa osa parametreista nollautuu. L2-regulaatio lisää parametrien neliöiden summan, mikä pyrkii pienentämään kaikkia parametreja ilman, että ne välttämättä nollautuvat. Regulaatioparametrin optimaalisen arvon valinta on ratkaisevan tärkeää ja tehdään usein ristiinvalidointimenetelmillä.