overgangssannsynlighetene

Overgangssannsynlighetene beskriver sannsynlighetene for å bevege seg fra en tilstand til en annen i en stokastisk prosess i løpet av et tidssteg, og de er særlig sentrale i Markov-kjeder. Tilstandsrommet kan være finit eller tellbart, og overgangene beskrives av en overgangsmatrise hvor hver rad representerer en avsendertilstand.

I en Markov-kjede er overgangssannsynligheten definert som p_ij = P(X_{t+1} = j | X_t = i), altså sannsynligheten for at kjeden går fra tilstanden i til tilstanden j i neste tidsenhet. I et tidsgjennomgående (homogent) tilfelle er disse sannsynlighetene uavhengige av t, slik at p_ij ikke varierer med tid. Slike sannsynligheter danner overgangsmatrisen P med entryene p_ij, og hver rad i P summerer til 1.

Multistegs overgangssannsynligheter beskriver sannsynligheten for å komme til en tilstand etter flere tidsenheter. Definisjonen p_ij^(n) = P(X_{t+n} = j | X_t = i) gir utslagene av å bruke matrisen P n ganger, slik at p_ij^(n) = (P^n)_{ij}. Chapman-Kolmogorov-ligningene uttrykker sammenhengen p_ij^(n+m) = sum_k p_ik^(n) p_kj^(m).

En sentral egenskap er muligheten for en sta distribuert løsning pi der pi P = pi. Under forhold som irreduktivitet og aperiodisitet konvergerer kjeden ofte mot en unik stationary distribution uavhengig av starttilstanden.

Overgangssannsynlighetene estimeres ofte fra data gjennom empiriske frekvenser eller maksimumslikelykke-estimater, og de brukes i en rekke områder som økonomi, queueing-teori, genetikk, værmodellering og finans.