Verteilungsverschiebung

Verteilungsverschiebung ist ein Begriff aus Statistik und Maschinellem Lernen, der eine Veränderung der Wahrscheinlichkeitsverteilung der Eingangsgrößen X und/oder der Zielvariable Y zwischen dem Datensatz, mit dem ein Modell trainiert wurde, und dem Datensatz in der Anwendung beschreibt. Formal gilt P_train(X, Y) ≠ P_target(X, Y). Solche Verschiebungen führen häufig zu schlechterer Vorhersageleistung, weil Modelle Annahmen über die Verteilung der Daten treffen, die nicht mehr zutreffen.

Zu den wichtigsten Typen gehören Covariate Shift, bei dem sich P(X) ändert, P(Y|X) jedoch konstant bleibt; Prior Probability Shift (auch Label Shift), bei dem sich P(Y) ändert und P(X|Y) unverändert bleibt; und Concept Drift, bei dem sich P(Y|X) im Laufe der Zeit ändert. In der Praxis können Verschiebungen gemischt auftreten, sodass mehrere Mechanismen gleichzeitig wirken.

Ursachen sind Veränderungen der Umwelt, der Nutzerdemografie, Zeitabläufe, Mess- oder Erfassungsmethoden sowie neue Datenquellen oder Sensoren. Solche Veränderungen können z. B. beim Wechsel von Benutzergruppen, saisonalen Effekten oder technischen Updates auftreten und zu einer Abweichung zwischen Trainings- und Anwendungsdaten führen.

Die Erkennung von Verteilungsverschiebungen erfolgt durch Monitoring der Modellleistung auf aktuellen Daten, Vergleiche von Verteilungskennzahlen (z. B. Divergenzen wie KL- oder Jensen-Shannon-Divergenz) oder two-sample-Tests für Merkmale. Auch Drift-Dashboards und kontinuierliches Evaluieren helfen frühzeitig.

Gegenmaßnahmen reichen von erneuter Modellierung mit aktuellen Daten, Reweighting (Importance Sampling) bei Covariate Shift, Domänenadaptation und Transferlernen bis hin zu robusteren Modellen, Ensemble-Ansätzen oder Online-/Continual-Learning-Strategien. Ziel ist, die Auswirkungen der Verschiebung zu mindern oder Modelle flexibel an neue Verteilungen anzupassen.