ReLUaktivointeihin

ReLU-aktivointi (Rectified Linear Unit) on yleisesti käytetty ei-lineaarinen aktivointifunktio syväverkkojen neuroneissa. Sen matemaattinen esitys on f(x) = max(0, x). Funktio sovelletaan yleensä jokaiselle syötteelle erikseen (elementtitasolla), jolloin neuronin output on joko positiivinen tai nolla.

Ominaisuudet ja vaikutukset. ReLU antaa gradientin 1, kun x > 0, ja 0, kun x < 0. Tämä ei-saturatiivinen ominaisuus helpottaa takaisinleviämistä ja voi nopeuttaa konvergenssia verrattuna perinteisiin sigmoidi-aktivointeihin. Lisäksi positiiviset arvot johtavat harvempaan aktivaatiotasoon (sparse activations), mikä voi edistää monimutkaisen representaation oppimista. Nerokoneissa trässä ReLU on tavallinen valinta sen yksinkertaisuuden ja laskennallisen tehokkuuden vuoksi.

Rajoitukset ja variantit. Yksi tunnetuimmista haasteista on “dying ReLU” -ilmiö: joillakin soluilla negatiiviset syötteet voivat jatkuvasti tuottaa nollan, jolloin ne lopulta eivät enää opi. Tämän vuoksi on kehitetty variantteja kuten Leaky ReLU, Parametric ReLU (PReLU) ja Randomized ReLU (RReLU), jotka sallivat pienen vinon vasteen negatiivisille arvoille. Myös ReLU6 ja muita rajoitettuja muunnelmia käytetään joissain mobiili- ja rajoitetun laskentatehon malleissa. Lisäksi joidenkin lähestymistapojen rinnalla käytetään muita aktivointifunktioita, kuten ELU tai GELU, kun halutaan pehmeämpi lähestymistapa.

Historia ja käyttö. ReLU esiteltiin laajasti 2010 paperissa Rectified Linear Units Improve Restricted Boltzmann Machines (Nair ja Hinton). Sen suosio kasvoi merkittävästi 2012-luvulla AlexNetin myötä, ja siitä on muodostunut perusvaihtoehto monissa syväverkkoarkitektuureissa, erityisesti konvoluutionaalisissa neuroverkoissa. ReLU on edelleen yleisesti käytössä, usein sen varianttien kautta, riippuen sovelluksesta and laskentaominaisuuksista.