ReLUfunctie

De ReLU-functie, voluit Rectified Linear Unit, is een veelgebruikte activatiefunctie in neurale netwerken. Ze is gedefinieerd als f(x) = max(0, x). Daarmee is ze identiek aan x voor x > 0 en 0 voor x ≤ 0. De afgeleide is 0 voor x < 0 en 1 voor x > 0; bij x = 0 bestaat er geen unieke afgeleide, hoewel in optimalisatie vaak een subgradient [0,1] wordt gehanteerd. De functie is piecewise lineair en bezit een niet-lineaire eigenschap doordat de negatieve helft wordt afgesneden terwijl de positieve helft lineair doorgaat.

Voordelen en kenmerken: ReLU is eenvoudig en snel te berekenen, aangezien er geen exponenten of delingen nodig zijn. Ze helpt bij het voorkomen van verdwijnende gradients in diepe netwerken in vergelijking met sigmoid- of tanh-activaties, en levert vaak sparere activaties. Dit kan het leerproces versnellen en de convergentie verbeteren in vele netwerken, met name in convolutionele netwerken.

Nadelen en varianten: Een bekend nadeel is het zogeheten dying ReLU-probleem, waarbij sommige neuronen bij training beperkt blijven tot 0. Om dit te voorkomen zijn varianten ontwikkeld, zoals Leaky ReLU, Parametric ReLU (PReLU) en Randomized Leaky ReLU (RReLU), die bij x ≤ 0 een kleine positieve waarde toestaan. Daarnaast bestaan er andere benaderingen zoals ELU die zoeken naar een soeplere negatieve respons.

Geschiedenis en toepassingen: ReLU werd populair in de jaren 2010 als alternatief voor traditionele activatiefuncties en speelt sindsdien een centrale rol in veel diepe netwerken, waaronder convolutionele en recurrente modellen. Moderne machine learning-bibliotheken bieden ReLU standaard als activatiefunctie.