Aktivaatiofunktioiden

Aktivaatiofunktioiden tarkoitus on tuoda keinoverkkoihin ei-lineaarisuutta ja mahdollistaa monimutkaisten toimintojen oppiminen. Jokainen neuroni saa lineaarisen yhdistelmän syötteistään z = Σ w_i x_i + b ja tuottaa aktivaatioarvon a = f(z). Ilman ei-lineaarisuutta verkko pystyisi mallintamaan vain lineaarisia suhteita, jolloin syvyyden lisäys ei parantaisi suorituskykyä.

Yleisimmät aktivaatiofunktion tyypit ovat sigmoid, tanh ja ReLU sekä näiden variantit. Sigmoid-funktio on f(z) = 1/(1+e^{-z}) ja tanh f(z) = (e^{z}-e^{-z})/(e^{z}+e^{-z}). ReLU (rectified linear unit) on f(z) = max(0, z). Variantteja ovat Leaky ReLU, Parametric ReLU (PReLU), ELU ja SELU, sekä ei-lineaariset kuten Swish, GELU ja Mish, joita käytetään joissakin verkoissa suorituskyvyn parantamiseksi.

Ominaisuudet ja koulutuksen vaikutukset: aktivaatiofunktiot ovat pääsääntöisesti derivoituvia, mikä mahdollistaa takaisinkytkennän ja oppimisen. Ne voivat olla monotoneja tai ei-monotoneja, ja niiden ominaisuudet vaikuttavat gradienttien käyttäytymiseen. Esimerkiksi sigmoid- ja tanh-funktiot voivat kärsiä vanhenevista gradientteista saturoituneilla alueilla, kun taas ReLU voi synnyttää “kuolleita” neuroneja. Valinta riippuu verkon syvyydestä, tietojen jakaumasta ja säännöllistämisestä; käytännössä valintoja arvioidaan kokeellisesti.

Käyttö käytännössä: piilokerrosten aktivaatioina käytetään yleisesti ReLU-tyyppejä, kun taas ulostulokerroksessa valinta riippuu tehtävästä. Moniluokkaisessa luokituksessa käytetään Softmaxia, binaariluokituksessa sigmoidia, ja regression tehtävissä usein lineaarista (ei aktivointia) ulostuloa.

---