MarkovModelle

Markovmodelle sind mathematische Modelle, die Systeme beschreiben, die zwischen Zuständen wechseln. Zentral ist das Markov-Eigenschaft: Die Verteilung der nächsten Schritte hängt nur vom aktuellen Zustand ab und nicht von der Vergangenheit.

Der Zustandsraum enthält die möglichen Situationen, und eine Übergangswahrscheinlichkeit gibt an, wie wahrscheinlich ein Sprung von einem Zustand zum anderen ist. Diskrete Markovketten (DTMC) arbeiten in diskreten Zeitschritten und verwenden eine Übergangsmatrix P mit Einträgen P_ij. Kontinuierliche Markovketten (CTMC) arbeiten in kontinuierlicher Zeit und verwenden eine Generator-Matrix Q, die die Raten der Übergänge festlegt. Die Chapman-Kolmogorov-Gleichungen verbinden Wahrscheinlichkeiten über mehrere Schritte.

Eine zentrale Eigenschaft ist die stationäre Verteilung: eine Verteilung π, die bei wiederholtem Übergang unverändert bleibt (πP = π). Unter geeigneten Bedingungen konvergieren DTMCs gegen eine solche Verteilung. Bei CTMCs beschreibt eine Gleichung dπ(t)/dt = π(t)Q das zeitliche Verhalten.

Markovmodelle finden breite Anwendung in Warteschlangentheorie, Finanz- und Risikomodellierung, Biologie, Spracherkennung und Natürlicher Sprachverarbeitung. Parameter werden oft durch Maximum-Likelihood-Schätzung oder bayesianische Methoden aus Beobachtungen abgeleitet. Typische Grenzen sind die Gedächtnislosigkeit der Modelle und die Wahl eines geeigneten Zustandsraums.