hajautusanalyysejä

Hajautusanalyysejä ovat tilastollisia menetelmiä, joiden tavoitteena on löytää havaintoihin ryhmiä (klustereita). Ryhmien sisällä pisteet ovat mahdollisimman yhtenäisiä ja erilliset ryhmät toisistaan, jolloin datan rakenne selkiytyy ilman etukäteen annettuja luokkia.

Päätyyppejä on useita: partitioning-menetelmät kuten k-means ja k-medoids, hierarchical- eli puskuriluksiset menetelmät (agglomerative ja divisive), density-based menetelmät kuten DBSCAN ja OPTICS sekä model-based -lähestymistavat, joissa datan rakenteesta oletetaan esimerkiksi gausis- tai sekoitusmalli. Lisäksi on spektralinen klusterointi, joka soveltaa matriiseja ominaisuuksien suhteiden perusteella.

Keskeisiä käsitteitä ovat etäisyys- tai samankaltaisuusmitat sekä ominaisuuksien skaalaus. Usein data esiprosessoidaan standardointia tai normalisointia varten ja tarpeen mukaan ulottuvuuksia pienennetään. Valinta algoritmille ja käytettävien ominaisuuksien määrä vaikuttaa ryhmien tulkittavuuteen sekä luotettavuuteen.

Käytännön työssä pohditaan muun muassa, kuinka monta klusteria tulisi erottaa. Välineiksi käytetään esimerkiksi Elbow- eli käyrän taittumispistettä, silhouette-arvoja tai Davies-Bouldin -indeksiä; lisäksi voidaan harkita ulkoista validointia silloin, kun totuus tiedetään tai viitearvoja on saatavilla.

Sovelluskohteita ovat asiakassegmentointi, genomitiedon analyysi, kuvan ja tekstoprosessoinnin klusterointi sekä virhe- ja poikkeavuuksien havaitseminen. Hajautusanalyysejä tukevat myös tutkimusvaiheen hypoteesien muodostamista ja datan kokonaisrakenteen ymmärtämistä.

Rajoitteita ovat se, ettei tuloksilla välttämättä ole todellista "totuutta", sekä herkkyys skaalaukselle, outliereille ja korkean ulottuvuuden haasteille. Valinta menetelmästä ja kontekstista vaikuttaa merkittävästi tulosten tulkittavuuteen.