nstapovergang

nstapovergang is een begrip uit de kansrekening, vooral gebruikt bij Markov-ketens. Het verwijst naar de kans om in n stappen van de ene toestand naar de andere te bewegen. In een discrete-tijd Markov-keten heeft men meestal een toestandsruimte S en een eenstapovergangsmatrix P, waarbij P(i, j) de kans is om na één stap van toestand i naar toestand j te gaan.

De n-stapovergangskans wordt genoteerd als P^n(i, j) en geeft de kans op X_{t+n} = j gegeven X_t = i. Deze waarde is het (i, j)-delement van de matrix P^n, waarbij P^n is opgebouwd door matrixvermenigvuldiging van P met zichzelf: P^n = P × P × ... × P (n keer). De n-stapovergangskansen voldoen aan de Chapman-Kolmogorov-equatie: P^{n+m}(i, j) = sum_k P^n(i, k) P^m(k, j) voor alle i, j en n, m >= 0. Een speciale case is n = 0, waarbij P^0(i, j) = 1 als i = j en 0 anders.

Eigenschappen en toepassingen: n-stapovergangen worden gebruikt om verdelingen na meerdere stappen te berekenen, om lange termijn gedrag te analyseren en om stationary distributions te onderzoeken. Als de keten ergodisch is, kunnen de rijen van P^n bij toenemende n convergeren naar een gemeenschappelijke rij die de stationary distribution weergeeft.

Voorbeeld: voor een twee-statenketen met P = [[0.8, 0.2], [0.3, 0.7]] geeft P^2(i, j) = sum_k P(i, k) P(k, j). Zie ook: Markov-keten, overgangsverdeling, stationary distribution.