Markovprozesse

Ein Markovprozess ist ein stochastischer Prozess, der die Zukunft nur vom gegenwärtigen Zustand abhängen lässt. Formal sei X_t ein Zufallsprozess mit Zustandsraum S. Die Markov-Eigenschaft besagt, dass die bedingte Verteilung von X_{t+h} gegeben F_t nur von X_t abhängt und nicht von der bisherigen Entwicklung: P(X_{t+h} ∈ A | F_t) = P(X_{t+h} ∈ A | X_t).

Markovprozesse lassen sich nach dem Zeitparameter unterscheiden. Bei diskreten Zeitpunkten spricht man von einer diskreten Markovkette (DTMC) mit Übergangswahrscheinlichkeiten p_ij = P(X_{n+1}=j | X_n=i). Der Zustandraum kann endlich oder abzählbar unendlich sein, und mehrschrittige Wahrscheinlichkeiten ergeben sich aus der Chapman-Kolmogorov-Gleichung. Bei stetiger Zeit handelt es sich um kontinuierliche Markovprozesse (CTMC) mit einem Generator Q, der Sprungraten festlegt.

Für DTMCs führt die Stationärverteilung π (falls existierend) die Bedingung πP=π; für CTMCs erfüllt eine Stationärverteilung π die Gleichung πQ=0. Oft interessiert man sich auch für Konvergenz zu einer stationären Verteilung bzw. für Ergodizität, d.h. langfristiges Verhalten unabhängig von der Anfangsverteilung.

Zu den klassischen Beispielen gehören der einfache, ungerichtete Zufallsgang, Geburts- und Sterbeprozesse, sowie der Poissonprozess als Zählprozess mit konstanter Sprungrate. Markovprozesse finden breite Anwendung in der Warteschlangentheorie, Finanz- und Risikomodellierung, Biologie, Genetik sowie in der Spracherkennung und verwandten Bereichen.