reparameterisatietruc
De reparameterisatietruc, ook wel de reparameterization trick genoemd, is een methode in probabilistische machine learning die het mogelijk maakt stochastische variabelen te differentiëren. Door een latent variabele op een deterministische manier uit te drukken als een functie van parameters en een onafhankelijke ruisvariabele, kunnen gradients via backpropagation worden berekend terwijl de gewenste verdeling behouden blijft.
Voor een latente variabele z die conditioneel op x verdeeld is volgens q(z|x) met gemiddelde mu(x) en
In variational autoencoders (VAE) maakt deze truc het mogelijk om end-to-end te trainen via gradient-based optimalisatie.
Beperkingen en varianten: de truc is direct toepasbaar op continue, differentiabele verdelingen zoals Gaussiaans, maar niet