læringshastigheten

Læringshastigheten, eller learning rate på engelsk, er en hyperparameter i maskinlæring som kontrollerer hvor mye vektene i en modell oppdateres under hver iterasjon av treningsprosessen. Den er en kritisk faktor som påvirker både hastigheten og kvaliteten på modellens konvergens.

En høy læringshastighet kan føre til at modellen hopper over den optimale løsningen og dermed ikke konvergerer, eller den konvergerer til en sub-optimal løsning. Dette skyldes at vektene oppdateres for drastisk, og modellen kan svinge rundt minimumet av tapsfunksjonen. På den annen side kan en svært lav læringshastighet føre til at treningen tar uforholdsmessig lang tid, da vektene oppdateres i små trinn. I verste fall kan modellen bli sittende fast i et lokalt minimum.

Valget av læringshastighet avhenger av flere faktorer, inkludert den spesifikke algoritmen som brukes, datasettet og kompleksiteten til problemet. Det er vanlig å eksperimentere med forskjellige verdier for å finne en som gir god ytelse. Teknikker som læringshastighetsplanlegging (learning rate scheduling), hvor læringshastigheten reduseres gradvis over tid, brukes ofte for å dra nytte av både rask konvergens tidlig i treningen og finjustering mot slutten. Adaptive læringshastighetsmetoder, som Adam og RMSprop, justerer også læringshastigheten dynamisk basert på egenskapene til gradientene.