Mischverteilungen

Mischverteilungen sind Wahrscheinlichkeitsverteilungen, die durch eine gewichtete Mischung mehrerer Teilverteilungen entstehen. Gegeben seien K Componenten mit Verteilungsfunktionen F_k und Dichten f_k sowie Gewichte π_k ≥ 0 mit der Eigenschaft Summe_k π_k = 1. Dann wird eine Zufallsvariable X gemäß einer Mischverteilung beschrieben, wenn P(X ∈ A) = Σ_{k=1}^K π_k P_k(X ∈ A) für alle Ereignisse A gilt.

Falls jeder Teil eine Dichte besitzt, ergibt sich die Mischdichte f(x) = Σ π_k f_k(x) und die Mischverteilungsfunktion F(x) = Σ π_k F_k(x). Mischverteilungen werden häufig als finite Mischmodelle modelliert, insbesondere als Gaussian Mixture Models, aber auch mit Poisson-, Exponential- oder anderen Familien.

Typische Anwendungen betreffen Clustering, Dichteschätzung, Anomalieerkennung und die Modellierung heterogener Daten. Die Komponenten können identisch in der Form sein, aber unterschiedliche Parameter tragen oder unterschiedliche Verteilungen repräsentieren.

Eigenschaften: Der Erwartungswert ist E[X] = Σ π_k μ_k, wobei μ_k der Erwartungswert der k-ten Komponente ist. Die Varianz lautet Var[X] = Σ π_k (σ_k^2 + μ_k^2) − μ^2, bzw. Var[X] = Σ π_k Var_k[X] + Σ π_k (μ_k − μ)^2, mit μ = E[X].

Parameter-Schätzung erfolgt üblicherweise durch Maximum-Likelihood-Schätzung unter Berücksichtigung latenter Klassen (EM-Algorithmus) oder durch Bayes-Verfahren mit MCMC. Die Bestimmung der Anzahl der Komponenten K ist ein zentrales Modellwahlproblem; Kriterien wie BIC oder AIC werden verwendet.

Herausforderungen umfassen Identifizierbarkeit (Permutationsinvarianz der Komponenten), Abhängigkeiten zwischen Parametern, Initializationsempfindlichkeit und Überanpassung. Mischverteilungen bieten flexible Modelle, um komplexe Verteilungen zu approximieren, bleiben aber daten- und berechnungslastig.