herparameterisatie

Herparameterisatie is een methode in wiskunde, statistiek en machine learning waarbij een model of probleem wordt uitgedrukt in termen van een andere set parameters. Doel is vaak om identificeerbaarheidsproblemen te verminderen, het leervermogen of de convergentie te verbeteren, of de prior- en foutmodellen interpreteerbaarder te maken. Een herparameterisatie verandert dus de representatie, niet noodzakelijk de onderliggende gegevens.

In de kansrekening gaat een transformatie vaak gepaard met de transformatie van random variabelen. Als Y = g(X) en g invertibel is, kunnen de dichtheden worden aangepast volgens de verandering van variabelen-theorema: f_Y(y) = f_X(x) |dx/dy| evaluatie bij x = g^{-1}(y). Bij meervoudige of niet-lineaire transformaties komt ook de Jacobiaan in aanmerking. Herparameterisatie kan de afhankelijkheden tussen parameters verlagen en de isolatie van de belangrijkste bron van variatie vergemakkelijken.

Toepassingen zijn onder meer:

- Bayesian inference: non-centered (niet-gebonden) parameterisatie in hiërarchische modellen, die posterior-correlaties kan verminderen en de efficiëntie van sampling verhoogt.

- Machine learning: de reparameterisatie-truc bij variational autoencoders, waarbij stochastische variabelen op een schematische manier weergeven worden als deterministische transformaties van een standaard toestand, zodat backpropagation mogelijk wordt.

- Optimalisatie en statistische modellering: transformaties zoals log-transformatie om positieven parameters te waarborgen of schaalparameters te stabiliseren.

Een nadeel kan zijn dat de herparameterisatie de algebra of de interpretatie ingewikkelder maakt, en niet elke transformatie leidt tot betere prestaties. Het kiezen van een geschikte parameterisatie hangt af van de specifieke context en doelstellingen.