gradiëntdaal

Gradiëntdaal is een methode uit de numerieke optimalisatie en machine learning die wordt gebruikt om een differentiëerbare verliesfunctie te minimaliseren. In het Engels bekend als gradient descent. Het principe is eenvoudig: begin bij een initiële parametervector x0 en werk stap voor stap naar een minimum door steeds in de richting tegengesteld aan de gradiënt ∇f(x) te bewegen. De standaardupdate is x_{k+1} = x_k - η ∇f(x_k), waarbij η > 0 de leer- of stapgrootte is.

Er bestaan verschillende varianten. Batchgradiëntdaal berekent de gradiënt met behulp van alle trainingsvoorbeelden; stochastic gradient descent (SGD) gebruikt één voorbeeld per update; mini-batch gradiëntdaal combineert kleine groepen voorbeelden om een compromis tussen stabiliteit en snelheid te bieden.

Convergentie hangt af van factoren zoals differentiability, convexiteit van f en de keuze van η. Voor niet-convexe verliesfuncties kan gradiëntdaal naar lokale minima of langs saddlepunten leiden en kan verwerkingstijd lang zijn bij langzame afname. Aanpassingen zoals momentum, Nesterov-acceleratie en adaptieve leerparameters (Adam, AdaGrad) verbeteren vaak de convergentie.

Toepassingsgebied: wijd toegepast bij training van machine learning-modellen, zoals lineaire en logistieke regressie en vooral bij neurale netwerken. Historisch gezien is gradiëntdaal een van de oudste iteratieve optimalisatie-methoden, met wortels die teruggaan tot Augustin-Louis Cauchy in de 19e eeuw. Tegenwoordig is het fundament van veel moderne leeralgoritmen.