Nesterovaccelerasjon

Nesterovaccelerasjon, også kalt Nesterovs akselererte gradient eller Nesterov momentum, er en optimeringsmetode utviklet av Yuri Nesterov i 1983. Den er en forbedring av gradientbaserte metoder som bruker momentum og brukes i maskinlæring og numerisk optimering for å akselerere konvergensen i store modeller.

Metoden oppnår dette ved å bruke gradienten beregnet på et forhåndslook-ahead-punkt i stedet for på den nåværende posisjonen. En vanlig formulering av oppdateringene er: v_{t+1} = mu * v_t + eta * grad f(theta_t - mu * v_t); theta_{t+1} = theta_t - v_{t+1}. Her mu er momentumkoeffisienten (0 <= mu < 1) og eta er læringsraten. Dette betyr at oppdateringen tar hensyn til hvor parameterne vil være etter å ha brukt momentum.

Nesterovaccelerasjon regnes ofte som en variant av heavy-ball-metoden. Begge bruker tidligere oppdateringer for å forfølge en retning, men Nesterov beregner gradienten ved et look-ahead-punkt, noe som ofte gir bedre konvergens i praksis og mindre svingninger sammenlignet med tradisjonell momentum.

Konvergens og anvendelse: For glatt konveks funksjon gir Nesterov-varianten O(1/k^2) hastighet i verdien av målfunksjonen, mens vanlig gradient eller standard momentum ofte gir langsommere konvergens. I ikke-kongave eller dypere nettverksinnstillinger gir metoden ofte bedre treningsdynamikk og stabilitet.

Bruk og tilgjengelighet: I maskinlæring er SGD med Nesterov-momentum et mye brukt alternativ; de fleste rammeverk tilbyr dette som et valg i optimizers, slik som i PyTorch og TensorFlow. Hyperparametrene mu og eta krever ofte litt tuning for ulike modeller og datasett.