Aktiveerimisfunktsioonid

Aktiveerimisfunktsioonid on närvivõrkudes kasutatavad funktsioonid, mis muundavad neuroni sisendi väljundiks. Nende peamine eesmärk on lisada mittelineaarset käitumist, mis võimaldab modelleerida keerulisi seoseid andmetes. Ilma aktiveerimisefunktsioonideta oleks võrk ainult lineaarne kombinatsioon, mis ei suuda kaasa võtta keerukaid mustreid.

Tuntuimate tüüpena on sigmoid- (logistiline) funktsioon, tanh (hyperbolic tangent), ReLU (rectified linear unit) ja selle variandid nagu Leaky ReLU või PReLU. Lisaks kasutatakse sageli Softmaxi väljundikihis mitme klassi klassifikatsioonis ja Softpolust (softplus) kui sujuvat lähenemist ReLU-le. Omaduste lõikes on oluline, et paljud funktsioonid on diferentieeritavad; sigmoid ja tanh kalduvad küllustuma, kui sisend on suur, põhjustades gradientide kadumist; ReLU on mittesüdantne ja kiirendab koolitamist, kuid mõnel juhul võib tekkida “dünaamiline” when neuronid jäävad blokaadistuma.

Võrgu kontekstis kasutatakse aktiveerimisfunktsioone nii varjatud kihtides kui ka väljundikihis. Koolitusprotsessis aitab gradientide tagasiside (backpropagation) kaasa nende funktsioonide derivaatidele. Erinevate funktsioonide valik mõjutab suurendatavalt aeglaseid või raskesti koolitatavaid näiteid ning工业likud probleemid nagu kadunud gradient või dead neurons.

Praktikas valitakse funktsioonid lähtudes ülesandest (nt mitme klassiga klassifikatsioon Softmax või Sigmoidiga; sümboolse regressiooni korral võib piirduda stiiliga linear), arvutuslikest nõudmistest ning sobivusest alglagendite vaikevalgus. Historiliselt on ReLU populaarsus suurenenud sügavate võrkude edu tõttu, samas on jätkuvalt kasutusel ka teisi funktsioone nende eripärade tõttu.