Quelldatensätzen

Der Begriff Quelldatensätze bezeichnet die ursprünglichen Quelldatenbestände, die als Eingaben in Transformationsprozesse dienen. Sie bilden die Quelle für abgeleitete Datensätze (Zieldatensätze) sowie für Analysen und Berichte, die auf diesen Eingaben aufbauen.

Typischerweise umfassen Quelldatensätze strukturierte Daten aus relationalen Datenbanken, Dateien (z. B. CSV, JSON) oder Datenströmen aus APIs. Sie können Rohdaten oder bereits vorverarbeitete Teildatensätze enthalten. In ETL- oder ELT-Architekturen werden Quelldatensätze extrahiert, transformiert (Mapping, Normalisierung, Bereinigung) und in Zieldatensätze überführt.

Provenance und Metadaten: Zur Nachvollziehbarkeit werden Metadaten zu den Quelldatensätzen geführt, etwa Quelle, Extraktionszeitpunkt, Schema-Version, Qualitätshinweise und Verantwortlicher. Diese Informationen ermöglichen Rückverfolgbarkeit, Reproduzierbarkeit und Impact-Analysen bei Änderungen.

Governance und Qualität: Der Umgang mit Quelldatensätzen gehört zur Data Governance. Prozesse zur Qualitätssteuerung, Auditierbarkeit, Versionierung und Zugriffskontrollen schützen Integrität und Compliance, insbesondere bei sensiblen oder personenbezogenen Daten.

Anwendungsfelder: In Data-Warehouse-Architekturen, Data-Lake-Umgebungen, Data-Mesh-Modellen oder Master-Data-Management dienen Quelldatensätze als stabile Referenzquellen für Berichte, Analysen und maschinelles Lernen. Der Begriff betont die Abhängigkeit der Zielmodelle von den ursprünglichen Eingaben.