aktivatsioonifunktsiooni

Aktivatsioonifunktsioon on närvivõrgu neuroni väljundile rakendatav mittelineaarne funktsioon, mille eesmärk on anda mudelile võime õppida keerukaid seoseid. Tavaliselt arvutatakse neuroni sisselõige z = ∑_i w_i x_i + b ning väljund määratakse f(z). Ilma mittelineaarsuseta oleks kogu võrk ainult lineaarne transformatsioon, mis piirab mudeli võimet modelleerida keerukaid mustreid.

Populaarsed tüübid ja omadused hõlmavad näiteks ReLU-funktsiooni (f(z) = max(0, z)), sigmoidi (f(z) = 1/(1+e^{-z})), tanh-funktsiooni (f(z) = (e^{z} - e^{-z})/(e^{z} + e^{-z})) ning softmaxi (f_i(z) = e^{z_i} / ∑_j e^{z_j}), mida kasutatakse mitme klassi tõenäosuste esitamiseks. Lisaks on levinud Leaky ReLU, PReLU, Swish, ELU ja SELU. Reeglina valitakse aktivatsioonifunktsioon vastavalt ülesandele ja võrgustiku arhitektuurile; olulised omadused on difreneeritavus ja arvutuslik efektiivsus, mõnel juhul ka keskne või piiratud ulatus ning gradientide voolu mõjutamine.

Kasutus ja koolitus: peidetud kihtides kasutatakse mitte-lineaarset aktivatsioonifunktsiooni, et õppida mitmetasandilist esindust. Väljundikiht sõltub ülesandest: softmax mitme klassi klassifikatsioonis, sigmoid binaarses klassifikatsioonis, mõnikord aga jätkatakse lineaarset väljundit regressioonis. Õppimine backpropagationi abil nõuab funktsiooni derivative ning vali optimiseerige hindab gradientide voolu, mille puhul erinevad funktsioonid võivad hõlbustada või raskendada konvergentsi. Taastavamad funktsioonid võivad aidata vältida vananemise ning plahvatuse suurused gradientides.