Gradientmetoderna

Gradientmetoderna är en grupp optimeringsalgoritmer som används för att minimera differentiabla funktioner. De bygger på gradienten, som pekar i riktningen för brantaste ökningen. Genom att uppdatera variabler i motsatt riktning uppnår man gradvis lägre funktionsvärden: xk+1 = xk − αk ∇f(xk). Steglängden αk kallas inlärningshastighet och är central för konvergens; för stor eller för liten stegstorlek kan konvergens vara långsam eller instabil. Gradientmetoder används ofta när målfunktionen är glat differentiell, exempelvis i maskininlärning där förlustfunktionen beror på modellens parametrar.

Vanliga variationer inkluderar gradientnedstigning i deterministiska problem, eller stokastisk gradientnedstigning där gradienten approxieras av en minibatch eller en enskild datapunkt. Detta avsevärt reducerar kostnaden per iteration och passar bra för stora data. För att förbättra snabbheten och stabiliteten används momentumbaserade varianter, Nesterov-accelererad gradient och adaptiva metoder såsom AdaGrad, RMSProp och Adam, vilka justerar steglängden utifrån tidigare gradienter.

Teoretiska resultat visar att för konvexa problem kan gradientmetoder konvergera mot minimipunkten under rimliga antaganden om steglängden och gradientens Lipschitzkonstanten; för icke-konvexa problem är målet ofta att hitta kritiska punkter, då global optimalitet kräver starkare antaganden. Tillämpningar återfinns inom optimering i maskininlärning, bildbehandling och allmän numerisk optimering där gradientinformation är tillgänglig. Trots enkelheten erbjuder gradientmetoderna ofta en robust grundram för optimering i högdimensionella problem.