overgangssannsynligheter

Overgangssannsynligheter er sannsynligheter som beskriver hvordan et system i en stokastisk prosess går fra en tilstand til en annen over tid. De brukes spesielt i Markov-kjeder og relaterte modeller der fremtidig tilstand bare avhenger av dagens tilstand (maskinens minne). Man skiller mellom overgangssannsynligheter i diskret tid og i kontinuerlig tid.

I en diskret tids Markov-kjede med tilstandsområde S er overgangssannsynlighetene definert som Pij = P(Xt+1 = j | Xt = i), hvor i og j ligger i S. For hver tilstand i er radens summering lik 1: sum_j Pij = 1. Hvis kjeden er tidavhengig, kan Pij avhenge av t; i en tiduavhengig (homogen) kjede er Pij konstant over tid. Pij kan representeres som en matrise P, og n-trinns overgangssannsynligheter fås ved å beregne P^n. Chapman-Kolmogorov-ligningene sier at Pij(t+s) = sum_k Pik(t) Pkj(s) i kontinuerlig tid, og tilsvarende for diskret tid.

I kontinuerlig tid brukes et generatormatrise Q til å beskrive små tidsenheter: P(t) = exp(Qt). Kolmogorov-fremoverlikninger beskriver hvordan P(t) utvikler seg: d/dt P(t) = P(t) Q med P(0) = I. For irreduzible eller positive gjennomgående kjeder finnes ofte en unik stationary distributionsvektor pi som oppfyller pi P = pi eller pi Q = 0 under riktig betingelse.

Overgangssannsynligheter har anvendelser i mange felt, inkludert værmeldinger, finansiering, genetikk og køteori. Som et konkret eksempel kan en to-tilstands kjede ha P(A→A) = 0.7 og P(A→B) = 0.3, P(B→A) = 0.4 og P(B→B) = 0.6, og dermed fås n-trinns sannsynligheter gjennom matrisepotensiering.