aktiveringsfunktioner

Aktiveringsfunktioner är matematiska funktioner som används i artificiella neurala nätverk för att införa icke-linjäritet. De tillämpas på neuronens indata, det vill säga summan av vikter multiplicerade med ingångar plus bias. Utan aktiveringsfunktioner skulle nätverk endast kunna modellera linjära samband, vilket kraftigt begränsar deras uttrycks- och inlärningsförmåga.

Egenskaper: Funktionerna bör vara differentiabla och ofta kontinuerliga, eftersom lärandet sker via bakåtspridning. De påverkar gradienternas storlek och stabilitet; vissa funktioner begränsar utdata och minskar risker som vanishing- eller exploderande gradienter. Valet påverkar inlärningens hastighet och modellens flexibilitet.

Vanliga aktiveringsfunktioner inkluderar Sigmoid, som ligger mellan 0 och 1 och används ibland i utgångslag, men lider av gradientminskning i djupa nätverk; tanh, som ger outputs i (-1,1) och är zero-centred. ReLU, f(x)=max(0,x), är standard i dolda lager tack vare enkelhet och icke-saturation för positiva värden men kan ge döda neuroner. Lättare varianter som Leaky ReLU och Parametric ReLU försöker hantera detta genom små negativa värden. ELU och SELU ger negativa utgångar och kan bidra till stabilisering. GELU och Swish är mjukare funktioner som ofta används i moderna arkitekturer. Softmax används i utgångslaget för flerkategoriklassificering.

Användning: I dolda lager dominerar ReLU-familjen. För utgångslagret väljs funktion utifrån uppgiften: sigmoid för binär klassificering, softmax för flerkategoriklassificering, linjär aktivering för regression.

Nya aktiveringsfunktioner fortsätter utvecklas, med funktioner som GELU och Swish som fått bred användning i moderna djupa nätverk. Valet av aktiveringsfunktion är en del av nätverksdesignen och påverkar träningens effektivitet och noggrannhet.