Aktivaatiofunktio

Aktivaatiofunktio on olennainen osa keinotekoisia neuroverkkoja. Se määrittelee, milloin neuroverkon yksittäinen neuroni tai solmu tulisi "aktivoida" tai "laukaista" ja siirtää tietoa eteenpäin. Ilman aktivaatiofunktiota neuroverkko toimisi pohjimmiltaan lineaarisena mallina, joka ei kykenisi oppimaan monimutkaisia suhteita datassa. Aktivaatiofunktio tuo malliin epälineaarisuutta, mikä mahdollistaa monimutkaisten tehtävien, kuten kuvantunnistuksen tai luonnollisen kielen käsittelyn, suorittamisen.

Yleisimpiä aktivaatiofunktioita ovat sigmoid, ReLU (Rectified Linear Unit) ja softmax. Sigmoid-funktio, joka tunnetaan myös logistisena funktiona, puristaa syötteen arvon välille 0 ja 1, mikä tekee siitä hyödyllisen binäärisessä luokittelussa. ReLU on yksinkertaisempi ja laskennallisesti tehokkaampi, antaen syötteen arvon sellaisenaan, jos se on positiivinen, ja nollan muuten. Softmax-funktiota käytetään tyypillisesti neuroverkon viimeisessä kerroksessa moniluokkaisessa luokittelussa, muuntaen raa'at luokkapisteet todennäköisyyksiksi. Aktivaatiofunktion valinta voi vaikuttaa merkittävästi neuroverkon suorituskykyyn ja sen kykyyn oppia.