aktivointifunktiot

Aktivointifunktiot ovat olennainen osa keinotekoisia neuroverkkoja. Ne lisäävät ei-lineaarisuutta neuroverkon syötesignaaleihin, mikä mahdollistaa monimutkaisten suhteiden mallintamisen. Ilman aktivointifunktioita neuroverkko olisi yksinkertaisesti sarja lineaarisia muunnoksia, eikä se pystyisi ratkaisemaan kuin lineaarisesti erotettavissa olevia ongelmia. Aktivointifunktiot määrittävät, aktivoituuko hermosolu eli "laukeeko se", kun sille syötetään signaali.

Yleisiä aktivointifunktioita ovat Sigmoid, ReLU (Rectified Linear Unit) ja Tanh (hyperbolinen tangentti). Sigmoid-funktio puristaa syötteen arvoalueelle 0 ja 1 välille, mikä tekee siitä hyödyllisen todennäköisyyksien esittämisessä. ReLU on yksinkertaisempi ja laskennallisesti tehokkaampi; se päästää positiiviset arvot läpi sellaisenaan ja nollaa negatiiviset arvot. Tanh muuntaa syötteen arvoalueelle -1 ja 1 välille.

Valinta aktivointifunktiosta voi vaikuttaa merkittävästi neuroverkon suorituskykyyn ja oppimisnopeuteen. ReLU on tullut suosituksi sen tehokkuuden ja kyvyn lievittää "häviävän gradientin" ongelmaa, joka voi hidastaa tai estää syvien neuroverkkojen oppimista. Toisaalta, joskus Sigmoid tai Tanh voivat olla parempia valintoja tietyissä tehtävissä tai verkon osissa. Aktivointifunktion käyttö jokaisessa piilokerroksessa on käytäntö, joka mahdollistaa neuroverkon oppia monimuotoisia datamalleja.