Regulaariseerimine

Regulaariseerimine on statistikas ja masinõppes kasutatav meetod, mille eesmärk on mudeli keerukuse piiramine ja lahenduste stabiilsuse parandamine, eriti kui andmed on piiratud või probleemi määratlus on ebastabiilne. See saavutatakse lisades optimeerimisfunktsioonile lisandtermiga, mis karistab liigset keerukust või suurte koefitsientide väärtusi.

Kõige levinumad lähenemised on L2- ja L1-regulaariseerimine. L2-regulaariseerimine, mida sageli nimetatakse ridge-regressiooniks, lisab koefitsientide ruutude summa karistusele. L1-regulaariseerimine, mida nimetatakse lasso-regressiooniks, lisab koefitsientide absoluutarvude summa ning võib viia mõnede koefitsientide täpselt nullini, mille tulemusena tekib osaline mudeli valik.

Toimimise põhimõte seisneb selles, et optimeerimise käigus lisandub karistusosa: eesmärk on vigade suuruse vähendamine koos mudeli keerukuse piiramisega. Karistuse tugevust kontrollib parametri λ (lambda). Parameetrite sobivus valitakse tavaliselt ristvalideerimise teel või teiste teooriapõhiste kriteeriumidega.

Regulaariseerimist rakendatakse laialdaselt lineaar- ja üldistatud lineaarmudelite (nt logistiline regressioon), süvaõppes, pilditöötluses ning inversiooniprobleemides nagu dekonvulatsioon ja tomograafia.

Teooria ajalugu seostub Tikhonovi regulaariseerimisega (1960ndad). Ridge-regressioon populaarsust võitis 1970. aastatel Hoerli ja Kennardi töös. Regulaariseerimine on tihedalt seotud Bayesi mõtteviisiga: koefitsientide karistus võib interpretatsioonina kajastada eelistust väikestele koefitsientidele, näiteks Gaussilise priorsi abil.