aktivointifunktioita

Aktivointifunktioita ovat neuroverkkojen solmujen epälineaarisia operaatioita, jotka muuntavat lineaariset tulokset ei-lineaarisiksi. Ne mahdollistavat monimutkaisten rakenteiden oppimisen, sillä ilman aktivointia verkko pysyisi pelkästään lineaarisena mallina. Yleisessä muodossa neuroni laskee z = Wx + b ja soveltaa sen jälkeen aktivointifunktiota y = f(z).

Yleisimmät aktivointifunktiot. Sigmoid-funktio σ(x) = 1/(1+e^{-x}) tuottaa tuloksen (0,1) ja on hyödyllinen, kun halutaan todennäköisyyttä vastaavia arvoja; sen haittoja ovat saturaatio ja vanhenevat gradientit. Tanh-funktio tanh(x) = (e^{x}-e^{-x})/(e^{x}+e^{-x}) tuottaa (-1,1) ja on siten nollakeskitetty. ReLU-funktio ReLU(x) = max(0, x) on laskennallisesti kevyt ja usein tehokas, mutta voi johtaa kuolleisiin neuroneihin negatiivisilla arvoilla. Leaky ReLU ja muut variantit (esim. -a x, kun x < 0) pyrkivät välttämään tämän. ELU (ja SELU) sekä GELU tarjoavat pehmeämpiä gradiantteja negatiivisilla arvoilla. Softmax-funktio z:stä muodostuu todennäköisyysjakauma: softmax_i(z) = exp(z_i) / sum_j exp(z_j); sitä käytetään usean luokan todennäköisyyksien tulkintaan.

Käyttö ja valinta. Aktivointifunktio valitaan tehtävän mukaan: piilotiloissa tavallisesti ReLU-variantteja, viimeistä kerrosta varten softmax (moniluokkalaskelmiin) tai sigmoid, jos kyseessä on binaariluokitus. Osa avoimista malleista hyödyntää pehmeämpiä funktioita kuten GELU tai SELU. Opetuksessa aktivointifunktio vaikuttaa gradientin virtaan ja konvergenssiin, ja käytännössä valintaan vaikuttavat myös tietokoneen resursseja säätelevät tekijät sekä ydinarkkitehtuuri.