Standaardgradiëntafdaling

Standaardgradiëntafdaling, ook bekend als Stochastic Gradient Descent (SGD), is een iteratieve optimalisatie-algoritme dat wordt gebruikt om een functie te minimaliseren. Het is een variant van gradiëntafdaling, maar in plaats van de gradiënt te berekenen op basis van de gehele dataset, gebruikt SGD een willekeurig geselecteerd datapunt of een kleine subset van datapunten (mini-batch) om de gradiënt te schatten.

Het algoritme begint met een initiële schatting van de parameters. In elke iteratie wordt een datapunt of mini-batch geselecteerd, en de gradiënt van de doelstellingsfunctie wordt berekend met betrekking tot deze selectie. Vervolgens worden de parameters aangepast in de tegenovergestelde richting van deze gradiënt, met een stapgrootte bepaald door de leersnelheid. Dit proces wordt herhaald totdat de parameters convergeren naar een minimum.

De belangrijkste voordelen van SGD zijn de efficiëntie en de mogelijkheid om te ontsnappen aan lokale minima, vooral bij grote datasets. Omdat de gradiëntschatting ruis bevat, kan het algoritme fluctueren, wat kan helpen om uit plateaus of scherpe lokale minima te komen. De leersnelheid is cruciaal voor de prestaties; een te hoge leersnelheid kan leiden tot oscillaties rond het minimum, terwijl een te lage leersnelheid de convergentie kan vertragen. Vaak wordt de leersnelheid in de loop van het trainingsproces verlaagd om stabielere convergentie te bereiken. SGD is een fundamenteel algoritme in machine learning, met name voor het trainen van neurale netwerken.