Sigmoidfunctie

De sigmoidfunctie, ook wel de logistieke functie genoemd, is een S-vormige functie die elke reële invoer toewijst aan het interval 0 tot 1. De standaardvorm is f(x) = 1 / (1 + e^{-x}). De functie wordt veel gebruikt als kansfunctie of als activatiefunctie in machine learning en statistiek.

Eigenschappen van de sigmoidfunctie zijn onder meer dat ze strikt stijgend en continu is, met limieten 0 bij x → -∞ en 1 bij x → ∞. De afgeleide is f'(x) = f(x) · (1 - f(x)). De inverse van de functie is de logitfunctie, f^{-1}(p) = log(p / (1 - p)) voor 0 < p < 1. De sigmoidfunctie kan geïnterpreteerd worden als de cumulatieve distributiefunctie van de logistieke verdeling.

Toepassingen van de sigmoidfunctie zijn onder meer logistieke regressie, waar de invoer wordt omgezet in een kans tussen 0 en 1, en als activatiefunctie in neurale netwerken, waarbij de differentiabiliteit backpropagation mogelijk maakt en non-lineariteit introduceert. In biologie en populatiedynamica wordt de S-curve gebruikt om verzadiging en beperkte hulpbronnen te modelleren.

Varianten en overwegingen: de hyperbolische tangens (tanh) is een gerelateerde S-vormige functie die een bereik heeft van -1 tot 1 en via lineaire transformatie naar de sigmoid kan worden omgezet. Een nadeel van de klassieke sigmoid is verzadiging bij grote absolute invoer, wat kan leiden tot verdwijnende gradiënten in leerprocessen. Omdat hij niet zero-centered is, kiezen sommige modellen alternatieven zoals ReLU of andere activeringsfuncties.