Inomklustringsvarians

Inomklustringsvarians, ofta kallad intraclustervarians, är ett mått på hur mycket datapunkter inom varje kluster varierar kring klustrets centroid. Det används som ett mått på klustrets koherens eller compactness – lägre värden innebär tätare, mer sammanhängande kluster. Begreppet används främst inom delningbaserad klustring som k-means och relaterade metoder.

Beräkning och tolkning: Anta att datasetet är uppdelat i k kluster. För varje kluster i har n_i datapunkter och centroid μ_i. Variansen inom kluster i kan definieras som V_i = (1/n_i) ∑_{x ∈ cluster i} ||x − μ_i||^2. Den totala inomklustringsvariansen (inertia) är W = ∑_{i=1}^k ∑_{x ∈ cluster i} ||x − μ_i||^2 och kan också användas utan 1/n_i-faktorn, beroende på konvention. I vissa sammanhang används även V_i som summan utan normalisering: V_i' = ∑_{x ∈ cluster i} ||x − μ_i||^2. Beräkningar baseras oftast på bedömning av Euclideanska avstånd, vilket gör inomklustringsvarians känslig för skala och outliers.

Relation till andra varianter: Den totala variansen i datasetet, TSS, uppdelas ofta i inomklustringsvarians och mellanklustervarians (BSS). Med Euclidean-mått gäller vanligtvis TSS = W + BSS, där BSS mäter hur långt varje klusters centroid ligger från den övergripande medelpunkten. I k-means-optimering strävar man efter att minimera W (eller WSS, sum of squares).

Användning och begränsningar: Inomklustringsvarians används i elbow-analys för att bedöma antal kluster och som ett mått på klustringskvalitet. Den är beroende av skalning och val av avståndsmätning, och kan vara missvisande vid olika datadimensioner eller när outliers är närvarande. Andra mått, såsom silhouette eller Davies-Bouldin, används ofta tillsammans med eller som alternativ till inomklustringsvarians.