Gradientberäkning

Gradientberäkning är processen att beräkna gradienten till ett skalärt fält, dvs en funktion f: R^n → R. Gradienten ∇f vid en punkt x beskriver riktningen och hastigheten för största ökning av f. Den är en n-dimensionell vektor vars komponenter är de partiella derivatorna ∂f/∂x_i.

Egenskaperna: gradienten pekar i riktningen där f ökar som mest, och längden på ∇f anger hastigheten för ökningen i den riktningen. Den är central inom optimering, där negativa gradienten används i gradientnedstigningsalgoritmer för att hitta lokala minima. Denna riktning kan användas för att beräkna riktningar för varje liten förändring via den riktade derivatan D_u f(x) = ∇f(x) · u.

Beräkning: analytisk gradient erhålls genom symbolisk differentiering av f. Numerisk gradient beräknas med finite differences, till exempel ∂f/∂x_i ≈ (f(x + h e_i) − f(x)) / h. Automatisk differentiering (AD) beräknar gradienten exakt upp till maskinstor precision genom kedjeregeln och används mycket i vetenskapliga beräkningar och maskininlärning.

Exempel: för f(x, y) = x^2 + y^2 är ∇f(x, y) = (2x, 2y). Vid optimering används ofta gradientnedstigning: x_{k+1} = x_k − α ∇f(x_k).

Användning: gradientberäkning är grundläggande inom optimering, maskininlärning och fysik. Vid kritiska punkter där ∇f = 0 kan Hessian ligga till grund för klassificering. Inom maskininlärning används backpropagation för att beräkna gradienter av förluster med avseende på parametrar via kedjeregeln.