regularisaatiota

Regularisaatio on koneoppimisessa ja tilastollisessa mallintamisessa käytetty tekniikka, jonka tarkoituksena on vähentää mallin ylisopeutumista eli ylisovittumista. Ylisopeutuminen tapahtuu, kun malli oppii harjoitusdatan liian hyvin, mukaan lukien sen kohinan ja poikkeamat, mikä johtaa heikkoon suorituskykyyn uudella, näkemättömällä datalla. Regularisaatio pyrkii parantamaan mallin yleistyskykyä rajoittamalla sen monimutkaisuutta.

Yleisimpiä regularisaatiomenetelmiä ovat L1- ja L2-regularisaatio. L1-regularisaatio lisää mallin kustannusfunktioon termiä, joka on verrannollinen mallin painojen itseisarvojen summaan. Tämä voi johtaa harvoihin painoihin, jolloin jotkut mallin piirteet jätetään kokonaan huomiotta. L2-regularisaatio puolestaan lisää kustannusfunktioon termiä, joka on verrannollinen mallin painojen neliöiden summaan. Tämä pyrkii pitämään painot pienempinä, mutta harvoin nollaan.

Muita regularisaatiotekniikoita ovat muun muassa dropout, jossa neuronit satunnaisesti "pudotetaan pois" harjoituksen aikana, ja varhainen pysäytys, jossa mallin harjoitus lopetetaan, kun sen suorituskyky validointidatalla alkaa heiketä. Regularisaation käyttö on olennaista luotettavien ja yleistyskykyisten koneoppimismallien rakentamisessa.