L1penaloinnin

L1-penalointi, usein puhuttu L1-regularisaationa tai Lasso’n nimellä, on tilastollinen ja koneoppimisen tekniikka, jonka tarkoituksena on estää ylisovitusta lisäämällä kustannusfunktioon rangaistus, joka on verrannollinen mallin kertoimien absoluuttisiin arvoihin. Mallin ydin on ennustaa vasteyhteyksiä Xβ lähtevän datan perusteella.

Matemaattisesti L1-penalointi muuttaa optimoitavaa tehtävää siten, että etsitään β, joka minimoi loss-funktion L(y, Xβ) sekä λ-kertaisen L1-normin, eli minimoidaan L(y, Xβ) + λ ∑j |βj|, missä λ ≥ 0 on säännöstöraja. Yleisessä lineaarisessa regressiossa L voi olla neliöllinen virhe tai logistinen todennäköisyysfunktio tms. L1-penalointi kannustaa pieniin tai nolliin asettumaan β-jäsenille, mikä johtaa harvoin osa-aikaisen, tulosten kannalta helpommin tulkittavan mallin syntymiseen.

Ominaisuudet ja käyttö. L1-penalointi tuottaa harvoin parametreja, mikä tekee mallista tulkittavamman ja helpommin toteutettavan suurella määrällä piirteitä. Se sopii erityisesti korkeastiulottuviin tai suurten ominaisuusjoukkojen datoihin. Toisin kuin L2-penalointi, L1 voi johtaa kiinteisiin nollien arvoihin, mikä toimii automaattisena ominaisuusvalintana. Tämä herkkyys korostuu kuitenkin korreloituneiden ominaisuuksien kanssa.

Optimointi. L1-penalointi on kongruentti ongelma, mutta ei derivoituvuusnollakohtien takia, joten käytetään usein koordinaattieuinsinöintiä, alkeisgradienteja tai LARS-algoritmia. Tärkeää on standardoida ominaisuudet ennen sovellusta.

Sovellukset ja variantit. Sillä on laajoja käyttökohteita lineaarisessa ja logistisessa regresiossa sekä yleisissä lineaarisissa malleissa. Elastic net -menetelmä yhdistää L1- ja L2-penaloinnin rakenteen, parantaen vakautta korreloituneille piirteille. Hyperparametri λ valitaan usein ristiinvalidoinnilla.