klusterianalyysejä

Klusterianalyysi on tilastollinen ja data-analyysiin liittyvä menetelmä, jolla havaintojoukko jaetaan ryhmiin (klustereihin) siten, että ryhmän sisällä havaintoja yhdistää suurempi samankaltaisuus kuin eri ryhmien välillä. Klusterien tavoitteena on löytää rakenne suuresta datamäärästä ilman ennakko-oletuksia ryhmien lukumäärästä tai muodoista.

Yleisimmät menetelmät ovat k-means, hierarkkinen klusterointi (agglomeratiivinen ja divisive), DBSCAN, Gaussian mixture models ja spektrinen klusterointi. Menetelmien valinta riippuu datan luonteesta ja siitä, halutaanko kiinteät muotoutumat vai tiheysperustaiset ryhmät sekä siitä, miten herkkä tulos on poisjäännöistä ja mittausvaihteluista.

Prosessi sisältää datan esikäsittelyn ja standardoinnin, etäisyys- tai lähestymistavan määrittämisen sekä klustereiden lukumäärän tai rakenteen arvioinnin. K-meanissa k on ennalta määritettävä, kun taas hierarkkisessa klusteroinnissa voidaan tutkia dendrogrammia ja valita sopiva lukumäärä jälkikäteen. Tärkeitä näkökulmia ovat etäisyysmittarit (esim. Euclidinen, Manhattan tai kosininen), mittausten skaalautuvuus ja datan ominaisuudet (numeriset vs. luokat). Esikäsittelyllä on vaikutus tuloksiin; standardointi ja käsittely puuttuvien arvojen kanssa ovat yleisiä tehtäviä.

Sovelluksia ovat markkinointi ja asiakasryhmien erottelu, biologinen ja medicinellinen tutkimus sekä kuvan- ja puheentunnistus sekä sosiaalitieteelliset tutkimukset.

Haasteita ovat korkeaulotteinen data, skaalautuvuus suurille datamäärille, tulosten tulkittavuus sekä subjektiivisuus menetelmän ja etäisyysmittareiden valinnassa. Arviointiin käytetään sisäisiä indeksilukujen kuten silhouette tai Davies–Bouldin sekä ulkoisia vertailuja, jos vertailukohteita on.