Aktivaatiolohko

Aktivaatiolohko on laskennallinen moduuli, jota käytetään neuraleverkkojen sekä eräiden kognitiivisten mallien rakenteissa. Sen päätehtävä on ottaa vastaan edellisen kerroksen lineaarisen yhdistelmän tulos eli painotetun summan arvo ja soveltaa siihen epälineaarisen aktivaatiofunktion, jolloin syntyy ei-lineaarinen muutos syötteeseen. Tämä ei-lineaarisuus on oleellista monimutkaisten riippuvuuksien oppimisessa ja mallin kapasiteetin kasvattamisessa.

Toimintaperiaate on yksinkertainen: aktivoitava arvo johdetaan mukaan tuloksesta, usein lisätään pienoinen bias-arvo ja reagoidaan tietyllä funktiolla. Aktivaatiolohko voi olla yksittäinen funktio tai moduuli, joka koostuu useista vaiheista, kuten normaalisoinnista sekä mahdollisista rajoitteista tai maskauksista, jotka vaikuttavat syötteiden käsittelyyn. Sen ulostulo siirtyy seuraavaan kerrokseen tai vaiheeseen verkossa.

Yleisimmät aktivaatiofunktiot ovat ReLU, sen variantit (esim. Leaky ReLU, PReLU), sigmoidi ja tanh. Softmaxia käytetään usein ulostulokerroksessa luokkajakautumisen määrittämiseksi. Joissakin malleissa aktivaatiolohko voi sisältää parametrisoituja aktivaatioita, jolloin funktio on oppimisvaiheessa muokattavissa. Aktivaatiolohkon suunnittelulla on vaikutusta sekä verkon oppimisnopeuteen että sen kykyyn mallintaa ei-lineaarisia suhteita.

Nimi muodostuu suomenkielisistä sanoista aktivoiminen/aktivaation ja lohko, jolloin tarkoitetaan moduulia, joka tuottaa aktivaatioita kerrosten välillä.