Säännöllöintitekniikat

Säännöllöintitekniikat, tunnetaan myös nimellä regularisointitekniikat, ovat koneoppimisen ja tilastollisen mallinnuksen menetelmiä, joita käytetään ylisovituksen estämiseen ja mallin yleistyskyvyn parantamiseen. Ylisovitus tapahtuu, kun malli oppii harjoitusdatan kohinan ja satunnaiset vaihtelut liian hyvin, mikä johtaa huonoon suorituskykyyn uuden, ennennäkemättömän datan kohdalla. Säännöllöintitekniikat lisäävät mallin kustannusfunktioon rangaistustermin, joka rajoittaa mallin kompleksisuutta.

Yleisimpiä säännöllöintitekniikoita ovat L1- ja L2-säännöllöinti. L2-säännöllöinti, tunnetaan myös nimellä Ridge-regressio, lisää kustannusfunktioon mallin painojen neliöiden summan kerrottuna säännöllöintiparametrilla. Tämä rangaistus pyrkii pitämään painot pieninä, mutta ei yleensä nollaa. L1-säännöllöinti, tunnetaan myös nimellä Lasso-regressio, lisää kustannusfunktioon mallin painojen itseisarvojen summan kerrottuna säännöllöintiparametrilla. L1-säännöllöinti voi johtaa joidenkin painojen nollaantumiseen, mikä käytännössä karsii ominaisuuksia ja voi tuottaa harvempia malleja.

Muita säännöllöintitekniikoita ovat esimerkiksi dropout, jota käytetään neuroverkoissa ja jossa satunnaisesti poistetaan neuroneita harjoitusprosessin aikana, sekä early stopping, jossa harjoitus keskeytetään ennen kuin malli alkaa ylisovittua. Säännöllöintitekniikan valinta ja säännöllöintiparametrin optimointi ovat tärkeitä vaiheita luotettavien ja yleistyvien mallien rakentamisessa.