ReLUaktivoinnit

ReLUaktivoinnit, eli Rectified Linear Units, ovat yleisesti käytettyjä aktivointifunktioita syväverkkojen piilokerroksissa. ReLU-funktio määritellään myös muodossa ReLU(x) = max(0, x). Käytännössä se antaa nollan negatiivisille arvoille ja säilyttää positiiviset arvot muuttumattomina, mikä tekee siitä epälineaarisen mutta helposti laskettavan. ReLU on yleistynyt 2010-luvulla osana syväoppimisen käytäntöjä sen laskentatehokkuuden ja nopean konvergenssin vuoksi.

Ominaisuudet ja hyödyt: ReLU on erittäin kevyesti laskettava, ei vaadi eksponentteja tai monimutkaisia operaatiota. Tämä auttaa hillitsemään vanhentumisongelmaa (vanishing gradient) ja johtaa usein nopeampaan oppimiseen sekä tiukempaan harvennukseen piilokerroksissa, koska negatiiviset syötteet tuottavat nollan ja siten lukevat ei aktivoituja neuroneja.

Rajoitteet ja haasteet: Yksi yleinen ongelma on niin sanottu "dying ReLU" -ilmiö, jossa neuroni pysyy käytännössä aktiivisena vain negatiivisilla arvoilla ja alkaa tuottaa koko ajan nollia. Tämä voi vähentää verkon kapasiteettia. ReLUin gradientti on 1 x>0 mutta 0 x<0, ja funktio ei ole differentiable nollassa, vaikka subgradient hyväksytään käytännössä.

Variantit ja kehityssuuntaukset: Useita ReLU-variantteja on kehitetty, kuten Leaky ReLU, Parametric ReLU (PReLU), Randomized Leaky ReLU (RReLU) sekä ELU ja SELU, jotka pitävät joitakin negatiivisia arvoja ei-nollailla ja voivat parantaa oppimista sekä stabiloida verkon valenssia. GELU-suuntautuneet aktivoinnit ovat myös tulleet suosituiksi joissakin malleissa.

Käyttö: ReLU sijoitetaan yleisesti piilokerroksiin monissa konvoluutiokerroksissa ja tiheissä verkoissa. Ulostulokerroksessa käytetään usein toista aktivointia (esimerkiksi pehmeämax tai suora lineaarinen aktivointi) riippuen tehtävästä. Hyvä initiaatio (esim. He-initialisointi) ja normaalointi voivat parantaa ReLU-verkkojen suorituskykyä.

---