regularisointimenetelmin

Regularisointimenetelmät tarkoittavat tilastotieteessä ja koneoppimisessa käytettyjä keinoja estää ylikoulutusta ja parantaa mallin yleistettävyyttä lisäämällä sekä matemaattista rajoitusta että priorisointia mallin parametreille. Niiden tavoitteena on hallita mallin monimutkaisuutta ja vähentää suureen koulutusvirheen lisäksi saavutettua vaihtelua ennusteissa uusilla aineistoilla.

Yleisimmät menetelmät jakautuvat usein L2- ja L1-tyyppeihin sekä näiden yhdistelmiin. L2-regularisoinnissa lisätään kustannusfunktioon termi, joka pienentää painojen neliökeskiarvoa (esimerkiksi minimiarvo muodostuu minimointiin kuluva λ||β||_2^2 -kustannus). L1-regularisoinnissa lisätään termi, joka pienentää painojen itseisarvojia, mikä voi johtaa joidenkin painojen nollaantumiseen ja siten mallin harvennukseen (minimointiin λ||β||_1). Elastic net yhdistää nämä kaksi lähestymistapaa. Tikhonov-regularisointi on yleinen termi, jolla viitataan L2-tyyppiseen säännöstöön; bayesilainen tulkinta yhdistää säännöstön priorina.

Sovellukset kattavat lineaariset mallit, logistisen regression, regressioanalyysit sekä monimutkaisemmat verkot ja kernel-menetelmät. Regularisointi voi periaatteessa toimia myös iteratiivisten algoritmien varoituskeinona, kuten varhennettuna pysäytyksenä neuroneverkkojen koulutuksessa (dropout ja weight decay ovat samankaltaisia käsitteitä). Mallin valintaan vaikuttavat osa-alueet kuten tutkimusaineiston koko, kolmiarvoisuus sekä tulosten tulkittavuus; usein käytetään ristiinkvalidointia ja tiettyjen mallien valintaa.

Historiallisesti regularisointia kehitettiin 1960–luvulla Tikhonovin ja ridge-regressionin sekä myöhemmin lasso- ja elastic net -menetelmien avulla. Yleistyminen ja käytännön sovellukset ovat edelleen keskeisiä tilastossa, ennustamisessa ja tiedonlouhinnassa.