klusterointia

Klusterointi on epävalvottu koneoppimisen osa-alue, jonka tavoitteena on jakaa aineisto klustereihin siten, että saman klusterin havainnot ovat keskenään mahdollisimman samankaltaisia ja eri klustereiden välillä on eroa. Klusterit ovat usein tulkittavissa yhteisten ominaisuuksien perusteella, mutta niiden lukumäärä sekä tarkka muoto voivat olla datasta riippuvaisia.

Yleisiä klusterointimuotoja ovat k-means, hierarkinen klusterointi, DBSCAN ja gaussein sekoitusmallit. K-means jakaa aineiston kiinteään määrään klustereita k ja pyrkii vähentämään klusterin sisäistä vaihtelua. Hierarkinen klusterointi rakentaa klustereiden puun (dendrogramman) joko alhaalta ylöspäin tai päinvastoin, ja voi käyttää erilaisia etäisyys- tai yhdistämistapoja. DBSCAN on tiheyteen perustuva menetelmä, joka löytää tiheyyden mukaan muodostuvia, mahdollisesti muodoiltaan monimutkaisia klustereita ja tunnistaa harhautumat. Gausseksen sekoitusmallit ovat probabilistisia malleja, joissa havainnot kuuluvat epävarmuudella määritellyn gaussisen jakauman alijoukkoihin ja klusterit saadaan arvioituiksi todennäköisyyksien perusteella.

Prosessissa korostuvat esikäsittely, ominaisuuksien valinta sekä etäisyysmittari. Ominaisuudet voivat vaatia standardointia tai normalisointia, ja oikea etäisyysmittari riippuu datatypeista. Klusteroinnin tuloksen oikea määrä klustereita sekä tulkinta arvellaan usein käyttämällä sisäisiä validointimetrejä (esim. silhouette, Davies–Bouldin) tai ulkoisia vertailuarvoja, jos niille on saatavilla kulttuurinen totuus. Klusteroinnilla on sovelluksia markkinoinnissa, kuvan- ja tekstinkäsittelyssä, bioinformatiikassa sekä verkostoanalyysissä. Haasteisiin kuuluu skaalautuvuus suurille datamäärille, tulkittavuus sekä herkkyys mittausvirheille ja valitulle ominaisuustasolle.

---