gradientbaserede

Gradientbaserede metoder, eller gradientbaserede optimeringsmetoder, er en gruppe af algoritmer, der anvender gradientinformation (afledte af målfunktionen) til at guide parametrene mod optima. Grundideen er at bevæge sig i retningen af den største stigning for at maksimere eller i den negative retning for at minimere funktionen. I praksis opdateres parametrene i hver iteration via x_{t+1} = x_t - η ∇f(x_t), hvor η er læringsraten.

Variationer inkluderer stochastic gradient descent (SGD), mini-batch SGD og momentum-baserede versioner samt adaptiv læringsrate såsom AdaGrad, RMSprop og Adam. Disse metoder er særligt udbredte i maskinlæring og dyb læring, hvor gradienterne beregnes gennem backpropagation.

Anvendelsesområderne spænder fra træning af modeller i maskinlæring og dyb læring til generel numerisk optimering og statistisk inferens. Fordelene ved gradientbaserede metoder er deres generelle anvendelighed og effektivitet i højdimensionale rum og deres skalerbarhed til store datasæt. Ulempene inkluderer krav om differentiabilitet, følsomhed over for valg af læringsrate og hyperparametre samt risiko for at sidde fast i lokale optima eller saddel-punkter i ikke-konvekse problemer. Gradienter kan også være vanskelige at beregne eller opleve vanishing eller exploding gradients, hvilket kræver tilpasninger.

Se også: gradient, gradientnedstigning, optimering, backpropagation, Hessiansbaserede metoder, derivativfri optimering.