Datenduplizierung

Datenduplizierung bezeichnet die mehrfache Speicherung identischer Daten an mehreren Stellen oder in mehreren Systemen. Sie tritt häufig in Unternehmensumgebungen auf, in denen Daten aus verschiedenen Quellen zusammengeführt, Systeme repliziert oder Backups erstellt werden.

Ursachen liegen oft in unklaren Zuständigkeiten, mangelnder Normalisierung des Datenmodells, redundanter Integration verschiedener Quellsysteme, fehlenden globalen Identifikatoren und manueller Dateneingabe. Dadurch entstehen mehrere Datensätze, die dasselbe reale Objekt abbilden, was zu Inkonsistenzen und aufwändiger Pflege führt.

Auswirkungen sind erhöhter Speicherbedarf, längere Backup-Dauer, erhöhter Wartungsaufwand und potenzielle Inkonsistenzen bei Aktualisierungen. Zudem erhöhen sich Compliance- und Governance-Risiken, und Analysen oder Berichte können durch widersprüchliche Daten verzerrt werden.

Formen der Datenduplizierung umfassen physische Duplizierung, bei der identische Dateien oder Datensätze mehrfach gespeichert werden, sowie logische Duplizierung, bei der mehrere Datensätze dasselbe reale Objekt repräsentieren (z. B. mehrere Kundeneinträge). Oft handelt es sich um exakte Übereinstimmungen oder um nahe Übereinstimmungen infolge unterschiedlicher Schreibweisen oder Formate.

Verhütung und Management zielen darauf ab, Redundanz zu reduzieren. Maßnahmen umfassen eine saubere Datenmodellierung und Normalisierung, Master Data Management (MDM) zur Pflege eindeutiger Stammdaten, klare Primärschlüssel- und Unique-Constraints, sowie den Einsatz von Dublettenerkennungs- und Deduplizierungstools. Zusätzlich helfen Daten-Governance, Profiling in ETL-/Integrationsprozessen und regelmäßige Dublettenkontrollen, die Datenduplizierung zu minimieren.

---