Markovmodell

Ein Markov-Modell bezeichnet ein stochastisches Modell, das den Zustand eines Systems in diskreten oder kontinuierlichen Zeiten beschreibt. Wichtiges Merkmal ist die Markov-Eigenschaft: Der Übergang von einem Zustand zum nächsten hängt nur vom aktuellen Zustand ab und nicht von der Vorgeschichte. Markov-Modelle werden in zwei Hauptformen unterschieden: diskrete Zeit (DTMC) und kontinuierliche Zeit (CTMC).

Im diskreten Fall wird der Zustand im nächsten Zeitschritt durch eine Übergangsmatrix P bestimmt, wobei pij die Wahrscheinlichkeit angibt, vom Zustand i zum Zustand j zu wechseln. Die Matrix hat Zeilensummen gleich 1. Im kontinuierlichen Fall wird durch eine Generator-Matrix Q beschrieben, deren off-diagonale Einträge qij die Raten für Übergänge von i nach j festlegen und qii = -sum_{j≠i} qij gilt. Die zeitliche Entwicklung folgt bei DTMC der Chapman-Kolmogorov-Gleichung P(t+s) = P(t)P(s); bei CTMC ergibt sich d/dt P(t) = P(t)Q mit P(0) = I.

Wesentliche Eigenschaften sind die stationäre Verteilung pi, die bei Ergodizität die Gleichung pi P = pi mit Summe pi = 1 erfüllt. Für CTMC gilt pi Q = 0. Falls der Prozess irreduzibel und aperiodisch ist, konvergieren die Verteilungen gegen pi unabhängig vom Anfangszustand.

Parameter eines Markov-Modells lassen sich aus Beobachtungsdaten schätzen, etwa durch Maximum-Likelihood-Schätzung der Übergangswahrscheinlichkeiten oder durch Bayes-Techniken. Markov-Modelle dienen in vielen Bereichen als Grundlage, zum Beispiel in der Warteschlangentheorie, der Finanz- und Risikobewertung, der Genetik, der Spracherkennung und der Natursprachensynthese; Erweiterungen umfassen verborgene Markov-Modelle (HMMs) und Markov-Entscheidungsprozesse.