MarkovKetten

MarkovKetten, oder Markovketten, sind stochastische Prozesse mit diskreter Zeit, die durch die Markov-Eigenschaft charakterisiert sind: Die Wahrscheinlichkeit des nächsten Zustands hängt nur vom gegenwärtigen Zustand ab und nicht von der bisherigen Geschichte. Formal sei X_n eine Zufallsvariable mit Zustandsraum S; dann gilt P(X_{n+1}=j | X_n=i, X_{n-1}=i_{n-1}, ..., X_0=i_0) = P(X_{n+1}=j | X_n=i) für alle i, j in S und n.

Die Übergangswahrscheinlichkeiten p_{ij} = P(X_{n+1}=j | X_n=i) bilden eine Übergangsmatrix P = [p_{ij}], deren Zeilen die Beträge 1 ergeben. Der Verlauf einer Kette lässt sich durch die Verteilung μ^{(n+1)} = μ^{(n)} P beschreiben; zunehmend gilt μ^{(n)} = μ^{(0)} P^n. Ist S endlich oder abzählbar und die Kette irreduzibel und aperiodisch, konvergiert sie gegen eine eindeutige stationäre Verteilung π, die πP = π erfüllt und deren Summenbedingung 1 erfüllt.

Wichtige Variationen schließen kontinuierliche Markovketten ein, bei denen der Zeitindex kontinuierlich ist und hinter den Übergängen Raten durch eine Generator-Matrix Q stehen. Die Übergangswahrscheinlichkeiten erreichen dann P(t) = exp(Qt). Kolmogorov-Gleichungen beschreiben Vorwärts- bzw. Rückwärtsentwicklungen.

Typische Anwendungen finden sich in Warteschlangentheorie, Genetik, Finanzmathematik, Sprachmodellierung sowie in Algorithmen wie PageRank. Markovketten ermöglichen eine principielle, oft analytisch oder numerisch handhabbare Modellierung von Abfolgen zufälliger Zustände mit speziellem Gedächtnisverhalten. Estimationen aus beobachteten Übergängen ermöglichen Parameter-Schätzungen für P oder Q je nach Datensatz.