Dirichletprosessit

Dirichletprosessit ovat Bayesian-nonparametrisen tilaston työkaluja, jotka määrittelevät priorijakauman satunnaiselle jakaumalle G, joka asuu avaruudessa Θ. Dirichletprosessi DP(α, H) koostuu kaksi parametriä: koncentration-parametri α > 0 ja perustaju Jakauma H, jonka mukaan uudet massat jaatuvat. DP on random probability measure, eli sen todellinen jakauma on arpoutunut näistä parametreistä.

Ydinsä mukaan DP on määritelty siten, että jokaiselle yksittäiselle epäjatküyhmälle A1, ..., Ak ⊂ Θ kattavalle osajoukolle on yhteinen jakauma Bernoulli-Dirichlet: (G(A1), ..., G(Ak)) noudattaa Dirichlet-jakaumaa with parameterit αH(Ai). Tämä ominaisuus antaa DP:lle sekä käsitteenaan olevan jakautumisen että marginaalisen muodostamisen tavan.

Dirichletprosessi on käytännössä a.s. diskreetti, eli näytteet G koostuvat massapisteistä θk ja massat πk. Yleisimmät representaatiot ovat stick-breaking (Sethuraman) ja syntymämenettely, jossa G = ∑k≥1 πk δθk. θk ovat satunnaisesti H:n arvoja ja πk saadaan Vk ~ Beta(1, α) avulla, πk = Vk ∏i<k (1 − Vi).

Yksi keskeinen ominaisuus on ennustava kaava: seuraava havainto θn+1 saa olemassa olevien atomien massojen mukaan ja uuden atomin mahdollisuus on α/(α + n). Tämä mahdollistaa joustavan mallinnuksen, jossa ei tarvitse etukäteen määritellä klusterien lukumäärää.

Käyttökohteita ovat muun muassa DP-sekoitusmallit (DP–mixture), joissa DP prioroi jakauman yksikköjen jakaumia ja mahdollistaa joustavan klusterointimallin. Yleisiä laajennuksia ovat Hierarkkinen Dirichletprosessi (HDП) sekä muut normaalijärjestelmää korvaavat prosessit, kuten Pitman–Yor -prosessi. Dirichletprosessit ovat olleet keskeisiä välineitä epäparametrisessä bayesilaisessa mallintamisessa sekä aihe- ja klusterointitehtävissä. Historiana mainitaan Fergusonin 1973 julkaisu, jonka jälkeen DP on saavuttanut laajan sovelluskäytön.