blandningsmodeller

Blandningsmodeller är probabilistiska modeller som används för att beskriva data som kommer från flera underpopulationer eller komponenter. En blandning representeras som en viktad summa av komponentfördelningar, där varje komponent har sin egen fördelning och varje observation antas uppkomma från en viss komponent med en viss sannolikhet. Den generella formen är f(x) = sum_k pi_k f_k(x), där pi_k är blandningsvikten (summa över k av pi_k = 1) och f_k(x) är komponentens fördelning.

Modellens kärna är latent variabel, ofta betecknad Z, som indikeras vilken komponent som genererade varje observation. För en given observation x_i har man till exempel ansvarighetsfunktionen gamma_i(k) = pi_k f_k(x_i) / sum_j pi_j f_j(x_i). Denna sannolikhet används vid parameteruppdateringar och tolkas som hur sannolikt det är att observationen kommer från komponent k.

Vanliga tillvägagångssätt för parameteruppskattning är maximum likelihood via EM-algoritmen, där E-steget beräknar ansvarigheter och M-steget uppdaterar blandningsvikter och komponentparametrar. Vid Gaussian blandningar används ofta uppdateringar för medel och kovarians, men f_k kan vara andra typer av fördelningar. IBayesianska tillvägagångssätt används priors (t.ex. Dirichlet för pi) och parametrarna uppdateras via markovkedjiga metoder eller variational inference.

Väljs antal komponenter K kan göras genom modellurval med information kriterier som BIC eller AIC, eller via icke-parametriska eller semiparametriska modeller som Dirichlet process blandningar som låter modellen själv avgöra antalet komponenter.

Användningar omfattar klustring, densitetsestimering, anomalidetektion, signalbehandling och biostatistik. Blandningsmodeller utgör också grund för vidare konstruktioner som blandningar av experter och tidsbaserade modeller som Hidden Markov Models.