Säännöllistämisparametrit

Säännöllistämisparametrit ovat menetelmiä, joita käytetään koneoppimisessa estämään ylisovitusta (overfitting). Ylisovitus tapahtuu, kun malli oppii harjoitusdatan liian hyvin, mukaan lukien sen kohinan, ja menettää kykynsä yleistää uuteen, näkemättömään dataan. Säännöllistämisparametrit auttavat mallia pysymään yksinkertaisempana ja vähentämään sen monimutkaisuutta.

Yleisimpiä säännöllistämismenetelmiä ovat L1- ja L2-säännöllistäminen. L1-säännöllistäminen, tunnetaan myös nimellä Lasso, lisää mallin kustannusfunktioon painotettua summaa mallin painokertoimien itseisarvoista. Tämä kannustaa mallia asettamaan joitakin painokertoimia nollaksi, mikä johtaa mallin piirteiden valintaan. L2-säännöllistäminen, tunnetaan myös nimellä Ridge, lisää kustannusfunktioon painotettua summaa mallin painokertoimien neliöistä. Tämä puolestaan kannustaa mallia pienentämään kaikkia painokertoimia kohti nollaa, mutta harvoin tekemään niistä täysin nollia.

Säännöllistämisparametrin arvo, usein merkitty kirjaimella lambda (λ) tai alfa (α), määrittää säännöllistämisen voimakkuuden. Suurempi säännöllistämisparametri tarkoittaa vahvempaa säännöllistämistä ja yksinkertaisempaa mallia. Pienempi parametri puolestaan johtaa vähemmän säännösteltyyn ja mahdollisesti monimutkaisempaan malliin. Säännöllistämisparametrin oikean arvon valinta on tärkeä osa mallin koulutusta ja vaatii usein hyperparametrien viritystä, kuten ristiinvalidointia.