Overgangsprobabiliteiten

Overgangsprobabiliteiten zijn kernbegrippen in stochastische processen en beschrijven de kans dat een systeem van de ene toestand naar de andere overgaat over een bepaalde tijdsduur. Ze geven aan hoe waarschijnlijk het is dat het systeem zich in een volgende toestand bevindt, afhankelijk van de huidige toestand.

In discrete tijd worden overgangskansen vaak genoteerd als p_ij = P(X_{t+1} = j | X_t = i). Voor elke toestand i is de kans op een overgang naar alle mogelijke volgende toestanden ierechtig verdeeld over j, zodat p_ij ≥ 0 en sum_j p_ij = 1. Bij tijdshomogene ketens zijn de p_ij onafhankelijk van de tijdstap t, waardoor dezelfde overgangskaarten gelden voor elke stap. Bij tijdsafhankelijke (niet-homogene) ketens kunnen de kansen verschillen per stap.

In continue tijd wordt gesproken over overgangsprobabiliteiten P_ij(t) = P(X(t) = j | X(0) = i). Het gedrag van dergelijke processen wordt vaak beschreven via een generator Q, met q_ij ≥ 0 voor i ≠ j en q_ii = -∑_{j ≠ i} q_ij. De overgangsprobabiliteiten kunnen dan in veel gevallen via een matrix-exponentiële relatie P(t) = exp(Qt) worden berekend voor tijdhomogene processen.

Toepassingen van overgangsprobabiliteiten komen voor in diverse gebieden, zoals telecommunicatie, queueing theory, betrouwbaarheid, economie en computational biology. Ze maken het mogelijk om toekomstige toestanden en lange termijn gedrag van systemen met meerdere toestanden te analyseren en voorspellen.