Reparametrizálás

Reparametrizálás a statisztikában és a valószínűség-számításban olyan folyamat, amely során egy modell, egy véletlenszerű változó vagy annak sűrűsége egy másik paraméterezéssel vagy koordináta-rendszerrel írható le. A cél a becslés egyszerűsítése, numerikus stabilitás javítása vagy olyan korlátozások érvényre juttatása, mint a nemnegativitás vagy az egységösszeg. A transzformáció során a változásokat figyelembe kell venni a sűrűségek átalakításakor, például a Jacobian determinánsa alapján.

Gyakori alkalmazások közé tartozik a paraméterek olyan átalakítása, amely biztosítja, hogy a paraméterek pozitívak legyenek (például sigma = exp(t)) vagy hogy egy valószínűségi paraméter a [0,1] intervallumba essen (például logit transformáció vagy a softmax a simplexon). Az optimalizációban és a Bayes-i következtetésben a reparametrizálás lehetővé teszi, hogy unconstrained térben dolgozzunk, és könnyebben számolható gradienseket nyerjünk.

Speciális példák közé tartozik a variációs autoenkóderekben használt reparametrizációs trükk: a zajt epsilon-nak tekintjük, és a változás z = mu + sigma · epsilon formában történik, így visszacsatolást nyerhetünk a mu és a sigma felé. Más esetekben a normális eloszlás paramétereit mu és log-sigma formában írjuk le, hogy sigma > 0 legyen. Megfontolandó szempontok közé tartozik, hogy a különböző paraméterezések ugyanazt a modell- vagy eloszlás-struktúrát írhatják le, de a Jacobian számításának és identitás-problémák figyelmen kívül hagyása torzulásokat okozhat.

Összegzésként a reparametrizálás olyan módszer, amely segít a modellek paramétereinek stabilabb, érthetőbb vagy könnyebben optimalizálható formába hozásában.