Datenverschiebungen

Datenverschiebungen bezeichnen Veränderungen in der statistischen Verteilung von Daten zwischen Trainings- und Anwendungsdaten, Zeiträumen oder Quellen, die die Leistungsfähigkeit von Vorhersagemodellen beeinträchtigen können. In der Praxis unterscheiden Fachleute mehrere Formen: Kovariate Shift (P(X) ändert sich, P(Y|X) bleibt stabil); Konzeptdrift (P(Y|X) ändert sich); Prior Shift (P(Y) ändert sich, P(X|Y) bleibt stabil). Manchmal werden auch umfassendere Veränderungen als Data Drift zusammengefasst.

Ursachen sind zeitliche Veränderungen, neue Messgeräte, Änderung der Datenerhebung, Markt- oder Verhaltensänderungen, saisonale Muster sowie Stichprobenverzerrungen. Die Folgen können sinkende Vorhersagegüte, schlechtere Kalibrierung, Verzerrungen bei Entscheidungen und potenzielle Fairnessprobleme sein, insbesondere wenn Modelle über längere Zeiträume laufen.

Zur Erkennung werden Drift-Messungen und Metriken verwendet: Der Population Stability Index (PSI) zum Vergleichen von Merkmalsverteilungen, Kolmogorov-Smirnov- oder Wasserstein-Tests sowie Divergenzmaße wie KL-Divergenz. Neben Verteilungschecks überwacht man Modellmetriken (Genauigkeit, AUC, Kalibrierung) sowie Fehlerraten. Spezialisierte Drift-Detektoren wie DDM, EDDM oder ADWIN können Online-Drift erkennen.

Zur Minderung von Datenverschiebungen gehören Retraining oder Online-Lernen, Domänenadaptation, Gewichtung von Instanzen, Merkmalsnormalisierung, robuste Lernmethoden und Kalibrierung. Organisationen dokumentieren Datenschnittstellen, Datenflüsse und Versionierung, um Drift frühzeitig zu erkennen und zu steuern.