L1säännöllöinnissä

L1-säännöllöinti, joka tunnetaan myös nimellä LASSO-regressio (Least Absolute Shrinkage and Selection Operator), on lineaarisen regressiomallin regularisointitekniikka. Sen päätavoite on parantaa mallin yleistymiskykyä ja käsitellä tilanteita, joissa selittävien muuttujien määrä on suuri suhteessa havaintojen määrään.

Keskeinen ero L1-säännöllöinnin ja perinteisen pienimmän neliösumman (OLS) regression välillä on tapa, jolla mallin kertoimia optimoidaan. L1-säännöllöinnissä mallin virhefunktion lisäksi minimoidaan myös regressiokertoimien itseisarvojen summa, kerrottuna säännöllistämisparametrilla (lambda, λ). Tämä lisäys mallin kustannusfunktioon toimii rangaistuksena suurista kerroinarvoista.

Tämä rangaistus saa aikaan kaksi tärkeää vaikutusta. Ensinnäkin se pienentää mallin kertoimia kohti nollaa, mikä vähentää mallin varianssia ja estää ylisovittamista. Toiseksi, ja tämä on L1-säännöllöinnin erityisominaisuus, se voi kutistaa joidenkin regressiokertoimien arvot täsmälleen nollaan. Tämä tarkoittaa, että malli valitsee automaattisesti merkityksellisimmät selittävät muuttujat ja poistaa epäolennaiset muuttujat mallista, mikä johtaa sparssimallin syntymiseen.

L1-säännöllöinti on erityisen hyödyllinen, kun selittäviä muuttujia on paljon ja monet niistä ovat todennäköisesti merkityksettömiä. Se voi auttaa muuttujien valinnassa ja parantaa mallin tulkittavuutta vähentämällä muuttujien määrää. Säännöllistämisparametrin λ valinta on tärkeää, ja se voidaan usein tehdä ristiinvalidoinnilla.