Regulaariseerimist

Regulaariseerimist on statistikas ja masinõppes kasutatav meetod, mille eesmärk on vähendada mudeli keerukust ja parandada üldistamist. See saavutatakse lisades mudeli kaotusele lisandtermi ehk regulaarimise või penalty termi, mis piirab koefitsientide suurusi või arvu ning seeläbi vähendab üleõppimist.

Kõige levinumad regulaariseerimise vormid on L1- (lasso) ja L2- (ridge) regulaariseerimine. L1 lisab koefitsentide absoluutväärtuste summa, mis toob sageli kaasa koefitsientide lähenemise nullile, seega loob osaliselt või täielikult valitud tunnuste mudeli. L2 lisab koefitsientide ruutude summa, mis surub koefitsiendid väiksemaks, kuid ei vaja sageli neid täpselt nulli. Mõlemal on reguleerimispõhinä regulaatori parameeter, mida nimetatakse sageli lambda’, ning selle suurus määrab, kui tugevalt mudel kipub lihtsustuma.

Elastic net ühendab L1 ja L2 lähenemised, pakkudes nii tunnuste valikut kui ka koefitsientide ümardamist. See on kasulik olukordades, kus on palju korreleeritud tunnuseid või kui andmestik on kõrge dimensiooniga.

Regulaariseerimine võib olla mõistetav Bayesi vaatevinklist: koefitsiendid võivad saada priorikujulise piirangu. L2 vastab normaaljaotusega priorile, L1 Laplasliku priorile ning kombinatsioonid annavad paindlikke võimalusi.

Rakendused hõlmavad lineaar- ja logistilist regressiooni, närvivõrkude koolitamist ning tehisintellekti mudelite üldistamist. Valikuline regulaarimise tugevus ehk lambda kujundab tasakaalu mudeli sobivuse ja lihtsuse vahel ning sageli leitakse see ristvalideerimise teel.