DriftÜberwachung

Driftüberwachung bezeichnet den Prozess der kontinuierlichen Beobachtung von Datenströmen und Modellleistungen, um Veränderungen zu erkennen, die die Leistungsfähigkeit eines Systems beeinträchtigen können. Im Kontext von maschinellem Lernen unterscheidet man häufig zwischen Data Drift (Veränderungen der Eingangsverteilung) und Concept Drift (Veränderungen der Beziehung zwischen Eingaben und Zielvariablen). Covariate Shift und Prior-Shift sind verwandte Begriffe, die unterschiedliche Ursachen des Drifts beschreiben.

Ziel der Driftüberwachung ist es, frühzeitig Alarm zu schlagen, geeignete Gegenmaßnahmen einzuleiten und die Zuverlässigkeit von Modellen in Produktionsumgebungen sicherzustellen. Driftüberwachung ist damit ein zentraler Bestandteil von MLOps, Governance und Compliance.

Zur Driftüberwachung werden statische Merkmale der Eingabedaten kontinuierlich mit historischen Referenzverteilungen verglichen. Gängige Maße sind der Population Stability Index (PSI), der Kolmogorov-Smirnov-Test, die Wasserstein-Distanz oder die KL-/Jensen-Shannon-Divergenz. Für Modell-Drift werden Leistungskennzahlen wie Genauigkeit, Präzision, Recall, ROC-AUC oder F1-Score über Zeitfenster überwacht. Spezielle Drift-Detektoren aus der Datenstromanalyse, wie ADWIN, DDM oder EDDM, melden Änderungswarnungen basierend auf adaptiv angepassten Fenstern.

Praktisch erfolgt Driftüberwachung oft in einem automatisierten Pipeline-Setup: Datenqualität und Feature-Verteilungen werden kontinuierlich protokolliert; bei Alarmen wird ein Retraining oder eine Feature-Engineering-Phase angestoßen, um das Modell anzupassen. Datenschutz und Erklärbarkeit sind hierbei zentrale Anforderungen.

Anwendungsfelder umfassen Finanzen, Gesundheitswesen, Einzelhandel und Fertigung. Herausforderungen sind geringe Driftsignale, hohe Alarmraten, Datenverzögerungen und das Unterscheiden von zufälligen Schwankungen von echten Veränderungen. Eine gute Driftüberwachung erfordert klare Kriterien für Alarmstufen, Replay-Tests und nachvollziehbare Dokumentation.