L1L2regularisointi

L1L2regularisointi, Suomessa usein kutsuttuna elastic net -säännöllistämiseksi, on säännöllistämistekniikka, jota käytetään tilastollisessa mallinnuksessa ja koneoppimisessa estämään ylikouluminen ja parantamaan mallin yleisyyttä. Se yhdistää L1-normin (lasso) ja L2-normin (ridge) rangaistukset malleihin kohdistuvien kertoimien (w) päälle.

Perusmuoto on optimoida kohdistusfunktio Loss(y, Xw) sekä säännöllistämismäärä λ [ α ||w||1 + (1 − α)/2 ||w||2^2 ], jossa λ > 0 on säännöllistämisen voimakkuus ja α ∈ [0,1] määrittelee L1- ja L2-osuudet. Parametrien avulla voidaan siirtyä pelkän L1-säännöllistämisen (α = 1) ja pelkän L2-säännöllistämisen (α = 0) välillä. Yleensä malli minimoi kokonaisuuden: minimoi Loss(y, Xw) + säännöllistämisrasite.

Ominaisuudet ja kehittäjät. L1-osa kannustaa harventamaan koeffisientteja, eli joitakin kertoimia voidaan asettaa tarkasti nolliksi, mikä johtaa osittaisiin ominaisuuksien valintoihin. L2-osa puolestaan auttaa käsittelemään korreloituneita ominaisuuksia ja vakauttaa ratkaisuja. Elastic net yhdistää näiden etuja: se voi valita ryhmän korreloituneita muuttujia yhdessä, ei vain yksittäisiä muuttujia.

Käyttö ja algoritmit. Säännöllistämistä käytetään sekä lineaarisissa että ei-lineaarisissa malleissa, kuten lineaarisessa ja logistisessa regressiossa sekä muissa GLM-malleissa. Optimoimiseksi käytetään usein koordinaattista descentiä tai proximal-gradient -menetelmiä; käytännössä ohjelmistot kuten scikit-learn ja glmnet tarjoavat ElasticNet-toteutuksia.

Historia. Elastic net on esitelty vuonna 2005 Zou ja Hastie, ja siitä on sittemmin tullut yleisesti käytetty väline etenkin korkean ulottuvuuden tilasto- ja koneoppimistehtävissä.