Datenreinigung

Datenreinigung bezeichnet den Prozess, bei dem fehlerhafte, unvollständige, inkonsistente oder irrelevante Daten identifiziert, korrigiert oder entfernt werden, um deren Zuverlässigkeit und Nutzbarkeit für Analysen, Berichte oder Modelle zu erhöhen. Sie gilt für strukturierte wie unstrukturierte Daten und kommt in Datenbanken, Data Warehouses, Data Lakes sowie in Data-Science-Projekten zum Einsatz.

Zu den zentralen Qualitätsdimensionen gehören Genauigkeit, Vollständigkeit, Konsistenz, Aktualität, Validität und Eindeutigkeit. Datenreinigung zielt darauf ab, diese Eigenschaften eines Datensatzes zu verbessern.

Typische Schritte umfassen Datenprofiling, Datensäuberung, Standardisierung, Deduplizierung, Normalisierung, Validierung, Transformation, Bereicherung, Imputation fehlender Werte und Qualitätskontrollen. Techniken umfassen die Erkennung und Entfernung doppelter Datensätze, die Vereinheitlichung von Formaten (z. B. Datumsangaben), Korrektur von Tippfehlern, Werteersetzung nach festgelegten Regeln sowie die Prüfung referenzieller Integrität.

Häufig eingesetzte Werkzeuge reichen von ETL-Plattformen und dedizierter Reinigungsoftware über OpenRefine bis hin zu Programmiersprachen wie Python (Pandas) oder SQL-basierte Cleanup-Skripte. Die Datenreinigung ist oft Bestandteil eines umfassenden Datenqualitätsmanagements und wird iterativ durchgeführt, um neue Fehlerquellen zu identifizieren.

Das Ergebnis sind sauberere, konsistentere Datensätze, die zuverlässigere Analysen ermöglichen, bessere Modellqualität liefern und die Einhaltung von Governance- und Datenschutzanforderungen unterstützen, etwa durch Maskierung oder Anonymisierung personenbezogener Daten.