læringsraten

Læringsraten, ofte betegnet som η, er en hyperparameter som styrer størrelsen på oppdateringene i optimeringsalgoritmer som gradientnedstigning. I en enkel gradientnedstigning oppdateres parametereθ med θ ← θ − η ∇L(θ), der L er kostnadsfunksjonen. Derfor bestemmer læringsraten hvor store skritt som tas mot minima eller saddle points.

En for høy læringsrate kan gjøre treningen ustabil eller få den til å divergere, mens en for lav læringsrate fører til langsom konvergens og kan hindre at løsningen blir funnet på rimelig tid. Den ideelle verdien avhenger av modell, datasett og optimeringsproblem.

Læringsraten kan være konstant eller følge en planlagt avtakning (learning rate schedule). Vanlige metoder inkluderer stegvis nedtrapping (step decay), eksponensiell nedtrapping og tidsbasert eller syklisk avtakning. Mange optimeringsmetoder bruker også adaptive læringsrater som justerer den effektive størrelsen per parameter, for eksempel AdaGrad, RMSprop og Adam. Slike metoder kan ofte gi raskere og mer stabil konvergens enn en konstant η, spesielt i problemer med sparsitet eller varierende gradienter.

Valg og justering av læringsraten er en viktig del av modelltilpasning. For dype nevrale nettverk brukes ofte η i området 1e-3 til 1e-2 som utgangspunkt, mens andre modeller kan fungere godt med 0,1 eller 0,01. Søk på logarithmisk skala, line search eller bruk av valideringsmålinger kan hjelpe med å finne en god verdi. I praksis kombineres ofte høy initial η med en nedtrapping eller med adaptiv metode for bedre stabilitet.

---