læringsraten
Læringsraten, ofte betegnet som η, er en hyperparameter som styrer størrelsen på oppdateringene i optimeringsalgoritmer som gradientnedstigning. I en enkel gradientnedstigning oppdateres parametereθ med θ ← θ − η ∇L(θ), der L er kostnadsfunksjonen. Derfor bestemmer læringsraten hvor store skritt som tas mot minima eller saddle points.
En for høy læringsrate kan gjøre treningen ustabil eller få den til å divergere, mens en for
Læringsraten kan være konstant eller følge en planlagt avtakning (learning rate schedule). Vanlige metoder inkluderer stegvis
Valg og justering av læringsraten er en viktig del av modelltilpasning. For dype nevrale nettverk brukes ofte
---