Regularisaatiotermi

Regularisaatiotermi on koneoppimisessa ja tilastollisessa mallinnuksessa käytetty käsite, jonka tarkoituksena on ehkäistä mallin ylisovitusta eli overfittingiä. Ylisovituksessa malli oppii harjoitusdatan liian hyvin, mukaan lukien sen satunnaisen kohinan, minkä seurauksena se yleistyy huonosti uuteen, näkemättömään dataan. Regularisaatiotermi lisätään mallin kustannusfunktioon tai häviöfunktioon. Tämä termi rankaisee mallin monimutkaisuudesta, tyypillisesti sen painokertoimien suuruuden perusteella. Kun mallia koulutetaan minimoimaan tämä laajennettu häviöfunktio, se pyrkii samanaikaisesti minimoimaan datan virheen ja pitämään mallin parametrit pieninä. Tämä pakottaa mallin olemaan yksinkertaisempi ja vähemmän herkkä harjoitusdatan yksityiskohdille, parantaen siten sen suorituskykyä uusilla datoilla. Yleisimpiä regularisaatiotermejä ovat L1-regularisaatio (Lasso) ja L2-regularisaatio (Ridge). L1-regularisaatio voi johtaa joidenkin painokertoimien nollaantumiseen, mikä tekee mallista myös harvemmaksi eli sparsemaksi ja voi toimia piirteiden valintana. L2-regularisaatio sen sijaan pienentää painokertoimia kohti nollaa mutta harvoin nollaa niitä kokonaan. Regularisaation käyttö on keskeinen osa monien koneoppimismallien, kuten lineaaristen mallien, neuroverkkojen ja tukivektorikoneiden, kehitystä ja suorituskyvyn parantamista.