Regulaatiotermi

Regulaatiotermi, tunnettu myös nimellä regularisointitermi, on koneoppimisessa ja tilastollisessa mallintamisessa käytetty lisäys mallin objektiivifunktioon. Sen päätarkoitus on estää ylisovittumista (overfitting). Ylisovittuminen tapahtuu, kun malli oppii koulutusdatan kohinan ja satunnaisuuden liian tarkasti, mikä heikentää sen suorituskykyä uusissa, näkemättömissä datoissa.

Regulaatiotermiä lisätään tyypillisesti virhefunktion (loss function) tai kustannusfunktion (cost function) yhteyteen. Tämä termi rankaisee mallin monimutkaisuudesta. Yleisimpiä regulaatiotekniikoita ovat L1- ja L2-regularisointi. L1-regularisointi lisää kustannusfunktioon mallin painokertoimien itseisarvojen summan kerrottuna regulaatioparametrilla. Tämä voi johtaa harvoihin (sparse) malleihin, joissa osa painokertoimista nollautuu. L2-regularisointi puolestaan lisää painokertoimien neliöiden summan kerrottuna regulaatioparametrilla. L2-regularisointi pyrkii pienentämään kaikkia painokertoimia kohti nollaa ilman, että ne välttämättä nollautuvat kokonaan.

Regulaatioparametrin, usein merkitty kreikkalaisella kirjaimella lambda (λ), suuruus on kriittinen. Pieni lambda-arvo tarkoittaa heikkoa regularisointia, kun taas suuri lambda-arvo voimistaa regularisoinnin vaikutusta ja voi johtaa alikovittumiseen (underfitting), jossa malli on liian yksinkertainen selittämään datan perusrakenteita. Regulaatioparametria säädetään tyypillisesti hyperparametrien virityksen avulla, esimerkiksi ristivalidoinnilla.

---