Datavolatiliteit

Datavolatiliteit verwijst naar de variabiliteit van datawaarden in de loop van de tijd of tussen steekproeven. Het kan ontstaan door veranderingen in het onderliggende proces, meetfouten, of door gewijzigde dataverzamelingsmethoden en externe factoren. Volatiliteit is een kenmerk van onzekerheid in data en heeft gevolgen voor analyses en modellen die op die data rusten.

Oorzaken omvatten conceptdrift (veranderingen in de relatie tussen input en output over tijd), seizoenale patronen, wijziging van databronnen, procedurele aanpassingen bij het registreren van data, en ruis. Bij categorische data kan de verdeling verschuiven; bij numerieke data kan de variatie toe- of afnemen.

Metingen van datavolatiliteit omvatten statistische maten zoals variantie en standaarddeviatie, maar ook drift- en veranderingmetingen zoals population stability index (PSI), Kullback–Leibler-divergentie, Jensen–Shannon-divergentie, Kolmogorov–Smirnov-test en afstandsmethoden als Wasserstein. Voor tijdreeksen worden change-point detection en online monitoring vaak gebruikt.

De gevolgen van significante datavolatiliteit zijn modelleringverval, verslechterde voorspelprestaties en foutieve beslissingen. Omvat monitoring, data governance en regelmatige hertraining van modellen. Technieken om ermee om te gaan zijn onder meer detectie van datavolatiliteit, robuustere modellen, adaptieve leerstrategieën, en coaching van dataprocessen en datastromen.

Zie ook: concept drift, data drift, data quality, data provenance, tijdreeksanalyse.