Markovprozess
Der Markovprozess ist ein stochastischer Prozess, der die Markov-Eigenschaft besitzt: Die Verteilung der zukünftigen Zustände hängt bedingungslos nur vom aktuellen Zustand ab, nicht von der bisherigen Geschichte. Formal heißt das, die bedingte Verteilung von X_{t+1} gegeben X_t und der Vergangenheit ist dieselbe wie die Verteilung von X_{t+1} nur abhängig von X_t.
Der Zustandsraum S eines Markovprozesses kann endlich, abzählbar unendlich oder sogar kontinuierlich sein. Die Zeitparameter können
In diskreter Zeit bezeichnet man die Übergangswahrscheinlichkeiten p_{ij} = P(X_{n+1}=j | X_n=i). Die Sammlung aller p_{ij} bildet die
Wichtige Sätze umfassen die Chapman-Kolmogorov-Gleichungen, die die Verläufe über mehrere Zeitschritte verknüpfen, sowie die Konzepte der
Anwendungen finden sich in Warteschlangentheorie, Finanzmathematik, Biologie und Physik. Typische Beispiele sind einfache Zufallsgänge, Birth-Death-Prozesse und