Datengenerationen

Datengenerationen beschreibt die aufeinanderfolgenden Zustände von Daten in einem Informationssystem. Sie schildert den Lebenszyklus von Rohdaten bis zu nutzbaren Analyseergebnissen, einschließlich der Prozesse Erfassung, Reinigung, Integration, Transformation, Aggregation und Archivierung. Der Begriff betont Herkunft und Wandel von Daten und dient als Orientierung für Datenmanagement und Governance.

Typische Generationen sind zum Beispiel Rohdaten (unverändert aus Quellsystemen), bereinigte Daten (fehlerbereinigte und qualitätsgeprüfte Versionen), integrierte oder harmonisierte Daten (Daten aus mehreren Quellen vereinigt), Nutzdaten oder Analytikdaten (abgeleitete Merkmale, Kennzahlen, Modelle) sowie Archivdaten (langzeitarchivierte Versionen). Zeitliche Aspekte spielen eine Rolle: Datengenerationen können als Snapshots zu bestimmten Zeitpunkten oder als versionierte Sequenzen betrieben werden. Metadaten und Provenance dokumentieren, aus welcher Quelle jede Generation stammt und welche Transformationen angewendet wurden.

Bedeutung: Die Vorstellung von Datengenerationen unterstützt Transparenz, Nachvollziehbarkeit und Reproduzierbarkeit von Analysen. Sie erleichtert Datenqualität, Compliance und Governance, da Veränderungen nachverfolgt und frühere Stände zugänglich gemacht werden. In Data-Warehouse- oder Data-Lake-Umgebungen wird oft bewusst mit mehreren Generationen gearbeitet, um unterschiedliche Anforderungen zu bedienen, von operativen Berichten bis zu maschinellem Lernen.

Herausforderungen: Die Speicherung und Verwaltung mehrerer Generationen erhöht den Speicher- und Metadatenbedarf. Konsistenz zwischen Generationen, Synchronisation von Prozessen und Sicherstellung der richtigen Versionen erfordern klare Richtlinien und Automatisierung.