klusterointeja

Klusterointeja eli klusterointia tarkoitetaan datan ryhmittelyä siten, että saman ryhmän jäsenet ovat keskenään erottuvasti samankaltaisia ja erilaisten ryhmien välillä ero on suurempi. Prosessi on tyypillisesti osa eksploratiivista data-analyysia ja on ohjaamaton, eli sen ei ole tarkoitus ennustaa tiettyä labelia. Klusteroinnissa voidaan erottaa hard- ja soft-klusterointi sekä mallipohjaiset ja tiheysperusteiset lähestymistavat.

Yleisimmät menetelmät ovat k-means, hierarchical (agglomerative) klusterointi, DBSCAN sekä tilastolliset mallipohjaiset menetelmät kuten Gaussian mixture models. K-means minimoi klusterin sisäisen varianssin ja vaatii etukäteen klustereiden määrän k. Hierarkkinen lähestymistapa rakentaa puumaisen rakenteen ja antaa eri tasoja tulkittavaksi. DBSCAN hakee tiheysperusteisesti klustereita eikä edellytä k:n määrää, mutta herkistyy valitulle etäisyydelle ja minimi-pisteiden määrälle. GMM-mallit käyttävät todennäköisyyksiä klustereiden koosta ja piirteistä ja sopivat pehmeille ankkuroiduille jakautumisille.

Ennen klusterointia datan ominaisuudet on usein normalisoitava tai skaalattava, jäännöksiä ja poikkeamia hallittava sekä mahdollisesti ulottuvuuksia pienennetty. Arviointi voi olla sisäistä tai ulkoista. Sisäisiä mittareita ovat esim. silhouette-arvo ja Davies-Bouldin -indeksi; ulkoisia mittareita käytetään totuuskategorioihin verrattavia klustereita, kuten Adjusted Rand Index. Gap-statistiikka voi auttaa oikean määrän klustereita valitessa.

Klusterointeja käytetään esimerkiksi markkinointisegmentointiin, kuvan ja tekstin ryhmittelyyn, genomitietojen analysointiin sekä verkko- ja sosiaalisten verkostojen analyysiin. Työkaluina yleisiä ovat Pythonin scikit-learn, R:n cluster- ja mclust-paketit sekä MATLAB ja Weka.