MarkovkædeMCMC

MarkovkædeMCMC er en familie af stokastiske metoder, der bruges til at tilnærme komplekse sandsynlighedsfordelinger ved at simulere prøver fra en Markov-kæde. Kæden konstrueres sådan, at dens stationary distribution er måldistributionen, hvilket gør det muligt at estimere forventninger og sandsynligheder gennem lange prøvetagninger.

De mest kendte algoritmer er Metropolis-Hastings og Gibbs-sampling. Metropolis-Hastings foreslår et nyt punkt fra en forslagfordeling og accepterer det med sandsynligheden min(1, π(x') q(x|x') / [π(x) q(x'|x)]). Gibbs-sampling er en særlig form, hvor hvert trin opdaterer én komponent ved at sample fra den betingede fordeling af den pågældende komponent givet de andre. En nyere tilgang er Hamiltonian Monte Carlo (HMC), der bruger gradientinformation til at foreslå bevægelser og ofte giver mere effektiv udforskning af rum med høj dimension, ofte implementeret gennem NUTS (No-U-Turn Sampler).

Konvergens og diagnosticering er centrale, da kæden skal være irreducibel og aperiodisk for at sikre, at prøverne konvergerer mod måldistributionen. I praksis vurderes konvergens med diagnostikker, der inkluderer burn-in-perioder og vurdering af autocorrelation. Valg af forslag og beregning af gradienter kan være udfordrende og påvirker blandingens hastighed og effektivitet.

Anvendelser omfatter Bayesiansk inferens, statistisk modellering og visse områder af maskinlæring, hvor man ønsker at beregne forventninger og sandsynligheder, der ikke kan integreres analytisk. MarkovkædeMCMC er derfor et centralt værktøj ved analyse af komplekse modeller og data.