Säännöllistysparametri

Säännöllistysparametri on koneoppimisessa käytetty termi, joka kuvaa erikoismenetelmää, jota käytetään ylisopeutumisen estämiseen. Ylisopeutuminen tapahtuu, kun koneoppimismalli oppii harjoitusdatan liian tarkasti, mukaan lukien sen kohinan, ja menettää kykynsä yleistää uuteen, ennennäkemättöön dataan. Säännöllistysparametri, jota usein merkitään symbolilla lambda ($\lambda$), on hyperparametri, joka kontrolloi säännöllistämisen voimakkuutta.

Säännöllistämisen yleisimmät muodot ovat L1- ja L2-säännöllistäminen. L1-säännöllistäminen, joka tunnetaan myös nimellä Lasso-säännöllistäminen, lisää mallin kustannusfunktioon painotettujen mallin painojen absoluuttisten arvojen summan. L2-säännöllistäminen, joka tunnetaan myös nimellä Ridge-säännöllistäminen, lisää kustannusfunktioon painotettujen mallin painojen neliöiden summan. Korkeampi säännöllistysparametrin arvo johtaa suurempaan sääntöön painoille, mikä pakottaa mallin käyttämään yksinkertaisempaa rakennetta ja siten vähentää ylisopeutumisen todennäköisyyttä.

Säännöllistysparametrin optimaalisen arvon valinta on ratkaisevan tärkeää mallin suorituskyvyn kannalta. Liian pieni arvo voi johtaa ylisopeutumiseen, kun taas liian suuri arvo voi johtaa alisopeutumiseen, jossa malli on liian yksinkertainen eikä pysty oppimaan datan olennaisia piirteitä. Optimaalinen arvo löytyy tyypillisesti mallin validointidatan avulla käyttämällä tekniikoita, kuten ristiinvalidointia. Säännöllistysparametrin tarkoituksena on siis löytää tasapaino mallin sopivuuden ja yleistyskyvyn välillä.