säännöllistämisparametrn

Säännöllistämisparametrin käsite liittyy usein koneoppimisen mallien koulutukseen ja erityisesti ylisovittumisen ehkäisyyn. Ylisovittuminen tapahtuu, kun malli oppii harjoitusdatan liian tarkasti, mukaan lukien sen kohinan ja satunnaiset vaihtelut, mikä johtaa heikkoon suorituskykyyn uudella, näkemättömällä datalla. Säännöllistämisparametrit ovat hyperparametreja, joita käytetään säätämään mallin monimutkaisuutta ja siten parantamaan sen yleistettävyyttä.

Yleisimpiä säännöllistämistekniikoita ovat L1- ja L2-säännöllistäminen. L1-säännöllistäminen, joka tunnetaan myös nimellä Lasso, lisää mallin kustannusfunktioon ennustajien absoluuttisten arvojen summan kerrottuna säännöllistämisparametrilla (usein merkitty $\lambda$). Tämä voi johtaa joidenkin ennustajien kertoimien nollaamiseen, mikä käytännössä poistaa ne mallista ja voi toimia ominaisuusvalintana. L2-säännöllistäminen, joka tunnetaan myös nimellä Ridge, lisää kustannusfunktioon ennustajien kerrointen neliöiden summan kerrottuna säännöllistämisparametrilla. L2-säännöllistäminen pyrkii pienentämään kaikkien kerrointen arvoja kohti nollaa ilman, että ne välttämättä tulevat tarkalleen nollaksi.

Säännöllistämisparametrin arvon valinta on ratkaisevaa. Liian pieni arvo ei tarjoa riittävää säännöllistämistä, jolloin malli saattaa ylisovittua. Liian suuri arvo voi puolestaan johtaa ali-sovittumiseen, jossa malli on liian yksinkertainen eikä pysty oppimaan datan taustalla olevia olennaisia malleja. Säännöllistämisparametrin optimaalinen arvo löydetään tyypillisesti ristiinvalidointimenetelmillä, joissa mallia koulutetaan ja arvioidaan useilla eri parametrin arvoilla käyttäen osaa datasta harjoitteluun ja toista osaa mallin suorituskyvyn arviointiin.