L1regularisaatio

L1 regularisaatio, tunnetaan myös nimellä LASSO (Least Absolute Shrinkage and Selection Operator), on regularisaatiotekniikka, jota käytetään usein koneoppimisessa ja tilastollisessa mallintamisessa. Sen päätavoitteena on estää mallin ylisovittumista ja parantaa sen yleistettävyyttä pienentämällä mallin monimutkaisuutta. L1 regularisaatio lisää mallin kustannusfunktioon rangaistustermin, joka on suoraan verrannollinen mallin kertoimien itseisarvojen summaan. Tämä rangaistus kannustaa mallia käyttämään pienempiä kertoimia, ja mikä tärkeintä, se voi pakottaa joidenkin kertoimien arvot täsmälleen nollaan.

Tämä nollaantumisominaisuus tekee L1 regularisaatiosta erityisen hyödyllisen piirteiden valinnassa. Kun kertoimet asetetaan nollaan, vastaavat piirteet käytännössä poistetaan mallista, mikä auttaa tunnistamaan tärkeimmät ennustavat tekijät ja yksinkertaistamaan mallia. Tämä on hyödyllistä tilanteissa, joissa on paljon potentiaalisia piirteitä, mutta vain osa niistä on todella merkityksellisiä.

L1 regularisaation käyttö vähentää mallin varianssia, mikä yleensä parantaa sen suorituskykyä uusilla, ennen näkemättömillä tiedoilla. Se on lineaaristen mallien, kuten lineaarisen regressio- ja logistisen regression, yleinen laajennus. L1 regularisaation vaikutus riippuu säädettävästä regularisaatioparametrista (usein merkitty lambdalla), joka määrittää rangaistuksen voimakkuuden. Suurempi lambda-arvo johtaa voimakkaampaan regularisaatioon ja todennäköisemmin nollautuviin kertoimiin.

---