Reparametrisering

Reparametrisering er bytte av parameterisering av en modell, en kurve eller en sannsynlighetsmodell uten å endre den underliggende formen eller distribusjonen. Formålet er ofte å gjøre matematikk, beregninger eller optimering enklere, eller å oppfylle praktiske krav som konveksitet, stabilitet eller dekning av parameterrommet.

I matematikk innebærer reparametrisering at en kurve gamma(t) beskrives med en annen parameter t som er en streng, differentiell bijeksjon av den opprinnelige parameteren, for eksempel s = f(t). Da blir den nye kurven gamma~(s) = gamma(t(s)) den samme geometriske banen, men parametrisering og hastighet langs kurven endres. En vanlig målsetning er å oppnå en buelengdeparameterisering, der hastigheten langs kurven blir enhetlig langs hele kurven.

Innen statistikk og maskinlæring brukes reparametrisering for å endre hvordan parametrene representeres i en modell. Dette kan gjøre det lettere å påføre gradientbasert optimalisering eller oppnå bedre identifiserbarhet. Endringer av variabler følger ofte endringen av variabler-formelen og Jacobian-faktorer som justerer sannsynligheter eller tettheter etter den nye parameteriseringen. Ett velkjent eksempel er reparameterization-tricket i variational inference og variational autoencoders, hvor en støyvariabel separeres fra parameterne slik at tilbakepropagasjon kan benytte gradiens.

Bruken av reparametrisering krever at transformasjonen er bijektiv og differentiell slik at den er matematisk tilfredsstillende for videre beregninger. Dårlig eller ikke-eksisterende Jacobian kan føre til feil i sannsynlighetsberegninger eller estimater. Reparametrisering er derfor et viktig verktøy i modellbygging, optimering og inferens på tvers av disipliner.