Regularisointiparametrit

Regularisointiparametrit ovat hyperparametreja, joita käytetään koneoppimisessa vähentämään ylisovitusta ja parantamaan mallin yleistyskykyä. Ylisovitus tapahtuu, kun malli oppii harjoitusdatan liian tarkasti, mukaan lukien kohinan, mikä heikentää sen suorituskykyä uudessa, näkemättömässä datassa. Regularisointiparametrit auttavat mallia olemaan liian riippuvainen yksittäisistä datapisteistä tai datan spesifeistä piirteistä.

Yleisimpiä regularisointitekniikoita ovat L1- ja L2-regularisointi. L1-regularisointi lisää mallin kustannusfunktioon painokertoimien itseisarvojen summaa, kerrottuna regularisointiparametrilla. Tämä tunnetaan myös nimellä Lasso-regularisointi. Se pyrkii pakottamaan osan mallin painokertoimista nollaksi, mikä johtaa piirteiden valintaan ja mallin yksinkertaistumiseen. L2-regularisointi, jota kutsutaan myös Ridge-regularisoinniksi, lisää kustannusfunktioon painokertoimien neliöiden summaa, kerrottuna regularisointiparametrilla. Tämä pienentää painokertoimien arvoja kohti nollaa ilman, että ne välttämättä tulevat täysin nolliksi, ja auttaa tasoittamaan mallia.

Regularisointiparametrin arvon valinta on kriittistä. Liian pieni arvo ei tarjoa riittävää regularisointia ja voi johtaa ylisovitukseen. Liian suuri arvo voi puolestaan aiheuttaa alisovitusta, jolloin malli on liian yksinkertainen eikä pysty oppimaan datan oleellisia rakenteita. Parametrin optimaalinen arvo löydetään yleensä ristivalidoinnilla tai muilla hyperparametrien viritystekniikoilla.