Tilbakepropagasjon

Tilbakepropagasjon er en algoritme for å trene kunstige nevrale nettverk ved å beregne gradienter av tapsfunksjonen med hensyn til nettverkets vekter ved hjelp av kjederegelen. Gjennom en framover-pass beregnes nettverkets prediksjoner og tapsverdien, og i en bakover-pass fordeles feilen tilbake gjennom nettverket slik at hver vekt får sin partielle avledning. Dette muliggjør effektive oppdateringer av nettverkets parametere.

For å bruke backprop, initialiseres vektene, og en framover-pass kjøres på et eksempel eller en batch for å beregne tapet. I bakover-pass beregnes gradientene ved å propagate feilene i motsatt retning av lagene og anvende kjederegelen. Resultatet er gradientene av tapet med hensyn til hver vekt, som brukes til å oppdatere vektene i retning av redusert tap, vanligvis gjennom gradientnedstigning.

Vanlige optimeringsbidrag inkluderer stochastic gradient descent og varianter som mini-batch SGD, momentum, Adam og RMSprop. Aktiviseringsfunksjoner må være differensierbare; ReLU, sigmoid og tanh er vanlige eksempler. Regulariseringsteknikker som L1/L2-regulering og dropout bidrar til å redusere overtilpasning, spesielt i dype nettverk.

Utfordringer i backpropagation inkluderer vanishing og exploding gradienter i dypt nettverk, noe som har drevet utviklingen av bedre initialisering, arkitekturer og normaliseringsteknikker som batch normalization. Backpropagation ble formalisert i sin moderne form på 1980-tallet og er grunnlaget for treningen av de fleste moderne dype nevrale nettverk.

Historisk er backpropagation sentralt i utviklingen av dyp læring og har bidratt til fremskritt innen bildediagnostikk, tale og naturig språkbehandling.