L1penaloinnille

L1-penalointi, tunnettu myös L1-regularisoinnina tai LASSO-menetelmänä, on säännöstelytekniikka tilastollisessa mallinnuksessa ja koneoppimisessa. Siinä kustannusfunktio (esim. jätetyn virheen tai log-tämänhetkisen todennäköisyyden menetyksen) yhdistetään L1-penaltyyn:Cost = loss + lambda sum_j |beta_j|, jossa beta_j ovat mallin parametreja ja lambda on vakioparametri, jonka avulla säännöstelyn voimakkuutta säädetään.

L1-penalointi tuottaa erityisesti sparsityä, eli monet parametrit voivat olla täsmälleen nolla. Tämä johtaa pienempään mallin monimutkaisuuteen ja helpompaan tulkittavuuteen sekä mahdollistaa ominaisuuksien valinnan automaattisesti. Verrattuna L2-penalointiin (Ridge), joka vain pienentää koefficienteja, L1 voi kokonaan poistaa joitakin ominaisuuksia.

Optimointi L1-penaloinnilla on teknisesti tasapainoinen: penalty on epäderivoituva kohdassa zero, mikä vaatii subgradient- tai proximaalikäsittelyä. Käytetyissä algoritmeissa suosittuja ovat koordinaattivenytys (coordinate descent) ja LARS- tai muut polkupohjaiset menetelmät. L1-penaloinnin arvo lambda määrää kompromissin hankinnan ja sparsityn välillä; suurempi lambda johtaa enemmän nolla-arvoihin, pienempi lambda antaa paremman sovituksen mutta vähemmän sparsityä. L1-penalointi soveltuu erityisesti korkeaintensiteettisille ja monimutkaisille datan joukkoille sekä tilanteisiin, joissa halutaan sekä ennusteet että tunnistaa merkittävät ominaisuudet.

Laajasti L1-penalointia sovelletaan lineaarisissa malleissa (LASSO), logistisissa malleissa ja muissa generalized linear malleissa sekä osana elastic net -menetelmää, jossa yhdistetään L1- ja L2-penaloinnit. Ennen soveltamista ominaisuudet tulisi skaalata, jotta penalty vaikuttaa ominaisuuksiin yhdenvertaisesti.