regularisointimenetelmiä

Regularisointimenetelmiä, eli regularisointitekniikoita, käytetään koneoppimisessa ja tilastollisessa mallinnuksessa ylisovittamisen estämiseksi. Ylisovittamisessa malli oppii liian hyvin harjoitusdatan, mikä johtaa heikkoon suorituskykyyn uuden, näkemättömän datan kanssa. Regularisointi lisää mallin objektiivifunktioon rangaistustermin, joka rajoittaa mallin kompleksisuutta.

Yleisimpiä regularisointimenetelmiä ovat L1- ja L2-regularisointi. L2-regularisointi, joka tunnetaan myös nimellä Ridge-regressio, lisää mallin painokertoimien neliöiden summan rangaistustermiin. Tämä pyrkii pitämään painokertoimet pieninä, mikä tekee mallista vähemmän herkän yksittäisille datapisteille. L1-regularisointi, joka tunnetaan myös nimellä Lasso-regressio, lisää painokertoimien itseisarvojen summan rangaistustermiin. L1-regularisointi voi nollata joitakin painokertoimia kokonaan, mikä johtaa luonnostaan piirteiden valintaan.

Muita regularisointitekniikoita ovat esimerkiksi dropout, jossa satunnaisesti osia neuroverkon neuroneista poistetaan harjoituksen aikana, ja aikainen pysäytys (early stopping), jossa harjoitus lopetetaan, kun mallin suorituskyky validoinnissa alkaa heiketä. Regularisoinnin valinta ja sen voimakkuuden säätäminen ovat tärkeitä vaiheita mallin suorituskyvyn optimoinnissa.