MarkovKettenModelle

MarkovKettenModelle sind stochastische Modelle, die sequenzielle Zufallsprozesse beschreiben, bei denen die Verteilung der nächsten Zustände nur vom gegenwärtigen Zustand abhängt. Die Modelle unterscheiden sich durch die Zeitstruktur: diskrete Zeit (DTMC) oder kontinuierliche Zeit (CTMC). Der Zustandsraum ist meist endlich oder abzählbar.

Bei diskreten Zeiten arbeiten DTMC mit Zustandsübergangswahrscheinlichkeiten P_ij = P(X_{n+1} = j | X_n = i). Die Übergangsmatrix P enthält Zeilen, die sich zu 1 summieren. Die Anfangsverteilung wird oft als pi_0 angegeben. Eine stationäre Verteilung pi erfüllt pi P = pi und Summe_i pi_i = 1. Unter Bedingungen wie Irreducibilität und Aperiodizität konvergiert die Verteilung oft gegen diese stationäre Verteilung, unabhängig vom Anfangszustand (Ergodizität).

Bei kontinuierlichen Zeiten beschreibt die Generatormatrix Q die Raten derSprünge: q_ij ≥ 0 für i ≠ j, und q_ii = -∑_{j≠i} q_ij. Die Verweildauer in Zustand i beträgt exponentiell mit Parameter -q_ii. Die Übergangswahrscheinlichkeiten über die Zeit t ergeben sich durch P(t) = expm(Q t), wobei expm die Matrixexponentialfunktion ist.

Wichtige Eigenschaften umfassen Irreducibilität, Aperiodizität und Ergodikität. Ergode Ketten besitzen eindeutig stabile stationäre Verteilungen und konvergieren von jeder Startverteilung aus gegen diese Verteilung.

Anwendungen finden sich in der Warteschlangentheorie (z. B. M/M/1), in der Finanz- und Risikoanalyse (Zustandswechsel von Bonität), in der Genetik, Robotik sowie in der Sprach- und Bioinformatik, wo auch versteckte Markovmodelle auf Markov-Ketten basieren.