regularisointitekniikoissa

Regularisointitekniikat ovat koneoppimisessa ja tilastollisessa mallinnuksessa käytettyjä menetelmiä, joiden tarkoituksena on estää mallin ylisovitusta. Ylisovitus tapahtuu, kun malli oppii koulutusdatan liian tarkasti, mukaan lukien sen kohinan ja satunnaiset vaihtelut, mikä johtaa heikkoon suorituskykyyn uudella, näkemättömällä datalla. Regularisointi lisää mallin kustannusfunktioon rangaistustermin, joka rajoittaa mallin kompleksisuutta.

Yleisimpiä regularisointitekniikoita ovat L1- ja L2-regularisointi. L1-regularisointi, tunnetaan myös nimellä LASSO (Least Absolute Shrinkage and Selection Operator), lisää rangaistuksen, joka on suhteessa mallin painokertoimien absoluuttisten arvojen summaan. Tämä voi johtaa joidenkin painokertoimien nollautumiseen, mikä toimii samalla ominaisuusvalintana. L2-regularisointi, tunnetaan myös nimellä Ridge Regression, lisää rangaistuksen, joka on suhteessa mallin painokertoimien neliöiden summaan. Tämä pyrkii pienentämään kaikkia painokertoimia kohti nollaa, mutta harvoin tekee niistä täsmälleen nollia.

Muita regularisointimenetelmiä ovat esimerkiksi Dropout, jota käytetään neuroverkoissa ja joka satunnaisesti "pudottaa pois" osan neuroneista harjoitusprosessin aikana, sekä Early Stopping, jossa mallin koulutus lopetetaan, kun sen suorituskyky validointidatalla alkaa heiketä. Regularisoinnin valinta riippuu usein mallin tyypistä, datan luonteesta ja käytettävissä olevista laskentaresursseista. Tavoitteena on löytää tasapaino mallin sopivuuden (fit) ja sen yleistymiskyvyn (generalization) välillä.