Sekoitusmalleja

Sekoitusmallit ovat tilastollisia malleja, joissa havaintoja tulkitaan useamman kuin yhden taustajakauman sekoituksena. Jokainen havainto voi syntyä jostakin komponentista, mutta komponentin oikeaa kuuluvuusta ei tiedetä. Malli määritellään komponenttien painojen pi_k ja kunkin komponentin jakauman f_k(x | theta_k). Yhteinen tiheys on f(x) = sum_{k=1}^K pi_k f_k(x | theta_k), jossa pi_k ≥ 0 ja sum pi_k = 1.

Yleisin esimerkki on finite mixture of distributions, tyypillisesti sekoitus Gaussisia jakaumia, jolloin f_k(x | mu_k, Sigma_k) on N(x | mu_k, Sigma_k). Sekoitusmallien idea on mallittaa monimuotoinen data yhdistämällä useita erillisiä alijakaumia, esimerkiksi erilaisten alaryhmien piirteet tai harvinaisempia tapahtumia.

Estimointi ja tulkinta: parametreina ovat komponenttien painot pi_k ja kunkin komponentin parametrit theta_k. Estimointi suoritetaan usein maksimiluotuvuuden tai Bayesin lähestymistavan avulla. Yleisesti käytetty EM-algoritmi etenee odotusvaiheessa eli lasketaan vastuut z_{ik}, jotka ovat todennäköisyyksiä sille, että havainto x_i kuuluu komponenttiin k, ja maksimoidaan sen jälkeen pi_k ja theta_k M-askelessa. Gaussisessa sekoituksessa mu_k ja Sigma_k päivitetään vastuutietojen perusteella.

Mallin valinta ja rajoitteet: oikean komponenttien määrän K löytää informaatiokriteerien kuten BIC tai AIC avulla, ristiin vahvistuksen kautta tai muulla menetelmällä. Huomioon otetaan identifioitavuusongelmat kuten label switching, jolloin tulosten tulkintaa on tehtävä varoen.

Laajennukset: finite-mallien lisäksi on infinite us, kuten Dirichlet-prosessin sekoitukset, sekä hierarkkiset tai regressiiviset sekoitusmallit, jotka laajentavat perusmallin soveltuvuutta erityyppisiin datasetöihin.