MarkovProzess

Der Markovprozess ist ein stochastischer Prozess, der die Markov-Eigenschaft besitzt: Die Verteilung der zukünftigen Zustände hängt bedingungslos nur vom aktuellen Zustand ab, nicht von der bisherigen Geschichte. Formal heißt das, die bedingte Verteilung von X_{t+1} gegeben X_t und der Vergangenheit ist dieselbe wie die Verteilung von X_{t+1} nur abhängig von X_t.

Der Zustandsraum S eines Markovprozesses kann endlich, abzählbar unendlich oder sogar kontinuierlich sein. Die Zeitparameter können diskret sein (t = 0, 1, 2, …) oder kontinuierlich (t ≥ 0). Entsprechend unterscheidet man diskrete Zeit Markov-Ketten und kontinuierliche Zeit Markovprozesse.

In diskreter Zeit bezeichnet man die Übergangswahrscheinlichkeiten p_{ij} = P(X_{n+1}=j | X_n=i). Die Sammlung aller p_{ij} bildet die Übergangsmatrix P, die die Sprünge zwischen Zuständen beschreibt. In kontinuierlicher Zeit werden die Übergangsraten q_{ij} (i ≠ j) verwendet und durch die Generatormatrix Q festgehalten, wobei q_{ii} = -∑_{j≠i} q_{ij} gilt. Die zeitliche Entwicklung wird durch die Semigruppe oder den Generator beschrieben.

Wichtige Sätze umfassen die Chapman-Kolmogorov-Gleichungen, die die Verläufe über mehrere Zeitschritte verknüpfen, sowie die Konzepte der stationären Verteilung π (für disc. Zeit gilt πP = π; für kontinuierliche Zeit πQ = 0). Unter geeigneten Bedingungen konvergieren Zustandsverteilungen gegen eine einzigartige stationäre Verteilung; solche Prozesse sind oft ergodisch oder gemischt.

Anwendungen finden sich in Warteschlangentheorie, Finanzmathematik, Biologie und Physik. Typische Beispiele sind einfache Zufallsgänge, Birth-Death-Prozesse und M/M/1-Warteschlangen.