reparameterisatietruc

De reparameterisatietruc, ook wel de reparameterization trick genoemd, is een methode in probabilistische machine learning die het mogelijk maakt stochastische variabelen te differentiëren. Door een latent variabele op een deterministische manier uit te drukken als een functie van parameters en een onafhankelijke ruisvariabele, kunnen gradients via backpropagation worden berekend terwijl de gewenste verdeling behouden blijft.

Voor een latente variabele z die conditioneel op x verdeeld is volgens q(z|x) met gemiddelde mu(x) en diagonaal van de covariantie sigma^2(x), kan men z schrijven als z = mu(x) + sigma(x) ⊙ ε, waarbij ε ~ N(0,I) en ⊙ de elementgewijze vermenigvuldiging is. Deze herparameterisatie maakt de ruisstap onafhankelijk van de leerbare parameters, zodat gradients van een verwachtingswaarde over z kunnen worden berekend door backpropagation door de deterministische transformatie z(mu,sigma,ε).

In variational autoencoders (VAE) maakt deze truc het mogelijk om end-to-end te trainen via gradient-based optimalisatie. Doorgaans wordt de Evidence Lower Bound (ELBO) gemaximaliseerd: E_{q(z|x)}[ log p(x|z) ] − KL(q(z|x) || p(z)). Door z te schrijven als mu + sigma ε kan men de gradienten efficiënt berekenen zonder onstabiele samplingsprocedures.

Beperkingen en varianten: de truc is direct toepasbaar op continue, differentiabele verdelingen zoals Gaussiaans, maar niet op discrete latent variabelen. Voor discrete variabelen bestaan alternatieven zoals schatters op basis van de REINFORCE-estimator of continue relaxaties zoals de Gumbel-Softmax (Concrete) distributie, waarmee men toch gradienten kunt approximate.