DatenLineage

Datenlineage bezeichnet den Weg von Daten von ihrer Quelle durch Transformationsprozesse bis zu ihrem Endziel. Sie erfasst Herkunft, Bewegung, Transformation und Nutzung der Daten und dient der Transparenz von Datenflüssen innerhalb einer Organisation.

Ziel ist es, Data Governance, Compliance und Qualitätsmanagement zu unterstützen, Auswirkungen von Änderungen zu analysieren, Verantwortlichkeiten festzulegen und Auditierbarkeit zu ermöglichen. Sie ist oft Voraussetzung für Datenschutz- und aufsichtsrechtliche Anforderungen sowie für das Verständnis, wie Daten in Berichten, Modellen oder Anwendungen verwendet werden.

Typische Bausteine sind Quellsysteme, Transformationsschritte, Speicherkonzepte, Metadaten, Datenkataloge, Protokolle und Dashboards. Die Linie kann automatisiert erfasst werden (Instrumentation, Event-Logs, Streaming-Metadaten) oder manuell dokumentiert und in Governance-Plattformen modelliert werden. Differenzierte Formen umfassen Physical lineage (Weg der Daten durch Systeme und Speicherorte), Logical lineage (Datenlogik, Transformationen und Semantik) sowie Business lineage (Nutzungen auf Berichts- oder Prozessniveau).

Anwendungsbereiche umfassen Datenqualität, Compliance, Risikobewertung, Impact Analysis bei Änderungen, Migrationen und den Betrieb von BI- und Analytics-Plattformen. Open-Standards und Tools wie OpenLineage oder Apache Atlas unterstützen die Erfassung, Speicherung und Nutzung von Lineage-Daten innerhalb von Data Catalogs und Governance-Umgebungen.

Herausforderungen liegen in der Komplexität großer, heterogener IT-Landschaften, Skalierbarkeit, Datenschutz, unvollständigen Metadaten, Kosten und dem Bedarf an konsistenten Metadaten-Modellen. Lösungsansätze fokussieren Automatisierung, enge Integration mit Datenkatalogen und klare Rollen- und Verantwortlichkeitsstrukturen.