regularisointitekniikat

Regularisointitekniikat ovat joukko menetelmiä, joita käytetään koneoppimisessa ja tilastollisessa mallinnuksessa ylisopeutumisen (overfitting) estämiseksi. Ylisopeutuminen tapahtuu, kun malli oppii harjoitusdatan liian tarkasti, mukaan lukien sen kohinan, mikä heikentää sen kykyä yleistää uuteen, näkemättömään dataan. Regularisointi pyrkii lisäämään mallin monimutkaisuuteen rangaistusta, jotta se pysyy yksinkertaisempana ja siten paremmin yleistää.

Yleisimpiä regularisointitekniikoita ovat L1- ja L2-regularisointi. L1-regularisointi, tunnetaan myös nimellä Lasso, lisää mallin häviöfunktioon termiä, joka on verrannollinen mallin painokertoimien absoluuttisten arvojen summaan. Tämä voi johtaa joidenkin painokertoimien nollaantumiseen, mikä tekee mallista harvemman ja voi toimia piirteiden valintana. L2-regularisointi, tunnetaan myös nimellä Ridge, lisää häviöfunktioon termiä, joka on verrannollinen painokertoimien neliöiden summaan. Tämä pyrkii pitämään painokertoimet pieninä ilman, että ne välttämättä nollautuvat.

Muita regularisointitekniikoita ovat esimerkiksi dropout, jota käytetään neuroverkoissa. Dropoutin aikana osa verkon neuroneista "pudotetaan pois" jokaisella harjoitusaskeleella satunnaisesti, mikä pakottaa verkon oppimaan redundantteja esityksiä ja estää neuroneja tulemasta liian riippuvaisiksi toisistaan. Aikasarjojen analyysissä ja muissa sovelluksissa voidaan käyttää myös muita muotoja, kuten varhaista pysäytystä (early stopping), jossa mallin harjoitus lopetetaan, kun sen suorituskyky validointidatalla alkaa heiketä. Regularisointi on olennainen osa vankkojen ja luotettavien koneoppimismallien rakentamista.