klusterkvalitet

Klusterkvalitet er et begrep innen klusteranalyse som beskriver hvor godt en inndeling av data i kluster gjenspeiler underliggende mønstre. En kvalitetsrik klustring kjennetegnes av høy innvendig homogenitet—punkter i samme kluster ligner hverandre—og god separasjon mellom kluster, slik at ulike kluster er tydelig ulike fra hverandre. Kvaliteten avhenger av formål og valgt målemetodikk, og det finnes ingen universell standard som passer alle data.

Vurdering av klusterkvalitet kan være intern eller ekstern. Interne mål vurderer strukturen basert på selve dataene, for eksempel silhouette-indeks, Davies-Bouldin-indeks, Calinski-Harabasz-indeks og within-cluster sum of squares. Eksterne mål sammenligner med kjente sannheter eller etiketter, for eksempel Justerte Rand-indeks og Normalisert gjensidig informasjon (NMI). Styrke og robusthet vurderes også ved resampling eller kjøring med ulike parametere for å undersøke stabilitet.

Faktorer som påvirker klusterkvaliteten inkluderer valg av algoritme (for eksempel k-means, hierarkisk klustring, DBSCAN, eller spektral klustring), avstandsmål, dataenes skala og normalisering, antall kluster og datarensing. Ulike algoritmer har forskjellige antakelser om form og tetthet av kluster, noe som gjør riktig valg avgjørende for meningsfull tolkning i konteksten.

Bruksområder spenner fra markedssegmentering og bildediagnostikk til biologiske datasett i genomikk. For å forbedre klusterkvaliteten bør man gjøre forbehandling, dimensjonalitetsreduksjon, feature engineering og validering sammen med domeneeksperter. Resultatet bør alltid tolkes i lys av formål og dataenes begrensninger.