Mischungsmodellen

Mischungsmodelle sind probabilistische Modelle, die davon ausgehen, dass beobachtete Daten aus der Mischung mehrerer Unterpopulationen stammen. Die Dichte eines Datenpunkts x wird typischerweise als p(x) = sum_{k=1}^K pi_k f_k(x | theta_k) beschrieben, wobei pi_k die Mischgewichte sind (sum pi_k = 1, pi_k ≥ 0) und f_k(x | theta_k) die Verteilungen der einzelnen Komponenten mit Parametern theta_k darstellen. Das Modell besteht aus der Anzahl der Komponenten K, den Mischgewichten pi_k und den Komponentenparametern theta_k. Die gängigsten Beispiele sind finite Mischungen, bei denen K festgelegt ist, sowie unendliche Mischungen, etwa Dirichlet-Process-Mischmodelle, die eine unendliche Anzahl potenzieller Komponenten zulassen und eine flexible Modellierung erfordern.

Inference erfolgt meist durch Maximum-Likelihood oder Bayessche Inferenz. Häufig wird das EM-Verfahren eingesetzt, um die Mischgewichte und die Parameter der Komponenten iterativ zu schätzen. In der Bayeschen Sichtweise kommen priorverteilte Parameter und Methoden wie MCMC oder Variational Inference zum Einsatz.

Anwendungen umfassen Clustering, Dichteschätzung, Mustererkennung, Bildverarbeitung und Genetik. Mischungsmodelle ermöglichen es, heterogene Daten in Subpopulationen zu modellieren und komplexe Verteilungen zu approximieren. Wichtige Herausforderungen sind die Identifizierbarkeit der Komponenten und das sogenannte Label-Switching, lokale Optima bei der Optimierung und die Wahl der richtigen Anzahl von Komponenten K. Typische Validierungsmethoden umfassen Informationskriterien wie BIC oder AIC sowie Kreuzvalidierung.

Erweiterungen umfassen Mischungen von Experten (Mixture of Experts), hierarchische Mischungen, nichtparametrische Mischungen (z. B. Dirichlet-Process-Mischungen) und Mischungen mit hierarchischen Abhängigkeiten.