ReLUaktivointia

ReLUaktivointia (Rectified Linear Unit activation) on yleisimmin käytetty aktivointifunktio syvissä neuroniverkoissa, erityisesti konvoluutioversoissa ja täysin yhteydettyjen verkkojen (MLP) suunnittelussa. Aktivointifunktioiden tehtävä on lisätä ei-lineaarisuutta verkkoon, mikä mahdollistaa monimutkaisten mallien oppimisen. ReLU:n suosio perustuu sen yksinkertaisuuteen ja tehokkuuteen verrattuna muihin funktioihin, kuten sigmoidiin tai tanh:iin.

ReLU toimii seuraavasti: funktio palauttaa syötteen suoran arvon, jos se on positiivinen, ja nollan, jos se on negatiivinen tai nolla. Matemaattisesti funktio voidaan esittää kaavalla f(x) = max(0, x). Tämä yksinkertainen määritelmä tekee ReLUsta nopean laskettavan ja helposti integroitavan verkkoihin. Lisäksi ReLU välttää "vanhan neuronin" ongelman, jossa sigmoidifunktioiden pienet arvot voivat estää oppimista syvissä kerroksissa.

ReLU:n etuja ovat myös sen suhteellinen herkkyys hyperparametrien, kuten oppimissäännöksen oppimiskadon, suhteen. Toisaalta, jos verkkoon syötetään liikaa negatiivisia arvoja, voi ilmaantua "dying ReLU" -ongelma, jossa neuronit jäävät aktivoitumatta koko koulutuksen ajan. Tämän ongelman ratkaisemiseksi on kehitetty vaihtoehtoisia aktivointifunktioita, kuten Leaky ReLU tai Parametric ReLU (PReLU), jotka sallivat pienet negatiiviset arvot.

ReLUaktivointia käytetään laajalti, koska se on osoittautunut tehokkaaksi monissa tehtävissä, kuten kuvien tunnistamisessa, luokittelussa ja generatiivisissa mallissa. Sen yksinkertaisuus ja tehokkuus tekevät siitä suositun valinnan monien tutkijoiden ja kehittäjien keskuudessa.