aktivatsioonifunktsiooni
Aktivatsioonifunktsioon on närvivõrgu neuroni väljundile rakendatav mittelineaarne funktsioon, mille eesmärk on anda mudelile võime õppida keerukaid seoseid. Tavaliselt arvutatakse neuroni sisselõige z = ∑_i w_i x_i + b ning väljund määratakse f(z). Ilma mittelineaarsuseta oleks kogu võrk ainult lineaarne transformatsioon, mis piirab mudeli võimet modelleerida keerukaid mustreid.
Populaarsed tüübid ja omadused hõlmavad näiteks ReLU-funktsiooni (f(z) = max(0, z)), sigmoidi (f(z) = 1/(1+e^{-z})), tanh-funktsiooni (f(z) = (e^{z}
Kasutus ja koolitus: peidetud kihtides kasutatakse mitte-lineaarset aktivatsioonifunktsiooni, et õppida mitmetasandilist esindust. Väljundikiht sõltub ülesandest: softmax