gradientbaserade

Gradientbaserade metoder är en grupp optimerings- och inlärningsmetoder som utnyttjar gradientinformationen hos en differentiell objektivfunktion för att justera parametrar i syfte att minimera eller maximera funktionen. I varje iteration beräknas gradienten vid de aktuella parametrarna och parametrarna uppdateras i en riktning som förbättrar målfunktionen. Genom att följa lutningen för f kan man komma närmare ett optimum effektivt, särskilt i höga dimensioner.

De vanligaste algoritmerna är gradientnedstigning, där man uppdaterar parametarna i riktning mot den största fallhöjden, och stokastisk eller minibatch-variant av gradientnedstigning, ofta kallad SGD, som använder delmängder av data för varje uppdatering. Vidare finns momentum och Nesterovsaccelererad gradient för att minska svängningar och snabbare nå stabila lösningar. Adaptiva metoder som AdaGrad, RMSProp och Adam justerar inlärningshastigheten per parameter. Andra gradientbaserade metoder inkluderar konjugerad gradient för vissa typer av problem och quasi-Newton-metoder som bygger upp en Hessian-approximation.

Användningsområden finns inom maskininlärning, särskilt djupinlärning, där nätverk tränas genom backpropagation som beräknar gradienter av förlustfunktionen. De används också i optimering, ekonomi och teknik där målfunktionen är differentierbar. Fördelarna inkluderar effektivitet i högdimensionella problem och ofta god skalbarhet, medan begränsningar inkluderar känslighet för val av inlärningshastighet, risk för att fastna i lokala minima eller plankor och beroende av gradientens beräknbarhet.