Tikhonovregulaatioon

Tikhonovregulaatio, joka tunnetaan myös nimellä ridgeregressio, on menetelmä, jota käytetään lineaaristen regressiomallien estimoinnissa, erityisesti silloin kun malli on huonosti ehdollistunut tai kun selittävien muuttujien välillä on multikollineaarisuutta. Menetelmän kehitti neuvostoliittolainen matemaatikko Andrei Tikhonov.

Perinteisessä pienimmän neliösumman (OLS) estimoinnissa pyritään minimoimaan virhetermin neliöiden summa. Tikhonovregulaatiossa tähän minimointiongelmaan lisätään regulaatiotermi, joka rankaisee suurista kerroinestimaateista. Yleisimmin käytetty regulaatiotermi on kerrointen neliöiden summa kerrottuna regulaatioparametrilla lambda (λ). Tämä lisää tasapainoa mallin sopivuuden datalle ja mallin yksinkertaisuuden välille.

Lisäämällä regulaatiotermi Tikhonovregulaatio vakauttaa estimaatteja ja vähentää mallin herkkyyttä pienille muutoksille datassa. Tämä on erityisen hyödyllistä tilanteissa, joissa selittäviä muuttujia on paljon tai ne ovat keskenään vahvasti korreloituneita, mikä voi johtaa OLS-estimaattien suuriin variansseihin. Regulaatioparametrin λ arvo on valittava huolellisesti; liian pieni arvo ei anna riittävää regulaatiota, kun taas liian suuri arvo voi johtaa mallin ali-sovittumiseen ja harhaisiin estimaatteihin. Valinta tehdään usein ristiinvalidoinnin avulla.

Tikhonovregulaatiolla on sovelluksia monilla aloilla, kuten koneoppimisessa, signaalinkäsittelyssä ja tilastotieteessä. Se on keskeinen tekniikka ongelmissa, joissa inversio-ongelmat ovat taipuvaisia epävakauteen.