Aktivointifunktion

Aktivointifunktio on käsite koneoppimisessa, erityisesti neuroverkkojen yhteydessä. Se on matemaattinen funktio, joka lisätään neuroverkon solmuun tai neuroniin. Aktivointifunktion tehtävänä on tuoda epälineaarisuutta neuroverkon ulostuloon. Ilman aktivointifunktioita neuroverkko degeneroisi yksinkertaiseksi lineaariksi malliksi, jolla olisi rajallinen kyky oppia monimutkaisia suhteita datassa.

Aktivointifunktiot määrittävät, milloin tietty neuroni "aktivoituu" tai milloin se lähettää signaalin eteenpäin seuraavaan kerrokseen. Ne muuttavat neuronin saaman syötteen painotetun summan muotoon, joka sitten syötetään aktivointifunktion läpi. Tämä mahdollistaa sen, että neuroverkot voivat oppia ja mallintaa monimutkaisia, epälineaarisia riippuvuuksia datassa, mikä on olennaista esimerkiksi kuvantunnistuksessa, luonnollisen kielen käsittelyssä ja monissa muissa koneoppimisen sovelluksissa.

Yleisiä aktivointifunktioita ovat esimerkiksi sigmoidifunktio, ReLU (Rectified Linear Unit) ja tanh (hyperbolinen tangentti). Valinta sopivasta aktivointifunktiosta riippuu usein neuroverkon arkkitehtuurista ja käsiteltävästä ongelmasta. ReLU on nykyään yksi suosituimmista valinnoista sen laskennallisen tehokkuuden ja kyvyn lievittää "vanishing gradient" -ongelmaa vuoksi.