Gradiëntdalingen

Gradiëntdalingen, ook wel bekend als gradient descent, is een geoptimaliseerd algoritme dat veelvuldig wordt gebruikt in machine learning en diep leren. Het hoofddoel is om de parameters van een model te vinden die een bepaalde kostenfunctie minimaliseren. De kostenfunctie, ook wel verliesfunctie genoemd, kwantificeert hoe goed een model presteert. Een lagere waarde van de kostenfunctie betekent een betere prestatie.

Het algoritme werkt iteratief. In elke stap wordt de gradiënt van de kostenfunctie berekend ten opzichte van de modelparameters. De gradiënt is een vector die de richting van de steilste stijging van de functie aangeeft. Om de kostenfunctie te minimaliseren, bewegen we in de tegenovergestelde richting van de gradiënt. Deze stapgrootte wordt bepaald door een hyperparameter die bekend staat als de "leersnelheid" (learning rate). Een kleinere leersnelheid zorgt voor kleinere stappen en kan leiden tot een langzamere, maar potentieel nauwkeurigere convergentie. Een grotere leersnelheid kan sneller convergeren, maar riskeert overschieten van het minimum.

Er zijn verschillende varianten van gradiëntdaling. De meest basale is batch gradiëntdaling, waarbij de gradiënt wordt berekend op basis van de gehele trainingsdataset. Stochastische gradiëntdaling (SGD) daarentegen berekent de gradiënt op basis van slechts één willekeurig geselecteerde trainingsvoorbeeld per stap. Mini-batch gradiëntdaling bevindt zich hier tussenin en gebruikt een kleine subset van de trainingsgegevens. Deze variaties hebben verschillende eigenschappen wat betreft snelheid, geheugengebruik en de stabiliteit van de convergentie. Gradiëntdaling is een fundamenteel algoritme dat de basis vormt voor het trainen van veel geavanceerde machine learning modellen.