säännöllistämistekniikoita

Säännöllistämistekniikat ovat menetelmiä, joita käytetään koneoppimisessa ylisovittumisen estämiseksi. Ylisovittuminen tapahtuu, kun malli oppii harjoitusdatan liian hyvin, mukaan lukien kohinan, ja menettää kykynsä yleistää uuteen, näkemättömään dataan. Säännöllistäminen lisää malliin rajoituksia tai "sakkoja", jotka vähentävät sen monimutkaisuutta ja tekevät siitä vähemmän alttiin ylisovittumiselle.

Yleisimpiä säännöllistämistekniikoita ovat L1- ja L2-säännöllistäminen. L1-säännöllistäminen, joka tunnetaan myös nimellä LASSO, lisää mallin kohdefunktioon harjoitusdatan ennusteiden ja todellisten arvojen erotuksen itseisarvoon kerrottuna säännöllistämisparametrin kanssa. Tämä pyrkii tekemään mallin kertoimista nollia, mikä voi johtaa mallin piirteiden valintaan. L2-säännöllistäminen, joka tunnetaan myös nimellä Ridge, lisää kohdefunktioon samaisen erotuksen neliöön kerrottuna säännöllistämisparametrin kanssa. Tämä pyrkii pienentämään kertoimia, mutta harvoin tekee niistä täsmälleen nollia.

Toinen tehokas säännöllistämistekniikka on pudotus eli dropout. Pudotuksessa tietty prosenttiosuus neuroneista poistetaan satunnaisesti jokaisen harjoitusvaiheen aikana syväoppimisverkon jokaisesta kerroksesta. Tämä estää hermoverkkoa luottamasta liikaa yksittäisiin neuroneihin, mikä pakottaa sen oppimaan robustimman esityksen datasta. Aikainen pysäytys on myös säännöllistämismenetelmä, jossa mallin koulutusta lopetetaan, kun sen suorituskyky validoinnissa alkaa heikentyä, vaikka sen suorituskyky harjoitusdatassa edelleen paranee. Näiden tekniikoiden avulla voidaan parantaa koneoppimismallien yleistyskykyä ja luotettavuutta.