ETLELTProzessen

ETLELTProzessen beschreiben zwei verwandte Muster der Datenintegration, die darauf abzielen, Quelldaten für Analysen in ein Zielsystem zu überführen und aufzubereiten. Im traditionellen ETL-Ansatz (Extract, Transform, Load) werden Daten zunächst aus Quellsystemen extrahiert, in einer Transformationsschicht bereinigt, angereichert und strukturiert, und erst danach in das Zielsystem geladen. Die Transformation erfolgt vor dem Laden, wodurch das Ziel oft eine vorkonfigurierte, saubere Datenbasis erhält. Vorteile sind eine klare Datenqualität, robuste Governance und eine Trennung von Transformationslogik von der Zielspeicherung; Nachteile sind potenzielle Engpässe durch die zentrale Transformationsinfrastruktur und geringere Flexibilität bei sich schnell ändernden Anforderungen.

Im ELT-Ansatz (Extract, Load, Transform) werden die Daten zunächst extrahiert, direkt in das Zielsystem geladen und dort transformiert. Die Transformation erfolgt mithilfe der Rechenleistung des Zielsystems (z. B. Cloud-W Data Warehouse oder Data Lakehouse). Vorteile: bessere Skalierbarkeit, geringere Datenbewegung, schnellere Ingestion bei großen oder heterogenen Datensätzen; Nachteile: Governance und Qualitätskontrollen müssen stärker im Zielsystem und durch Metadatenmanagement sichergestellt werden.

Typische Bausteine beider Muster sind Quellen, Extraktion, Transformationslogik, Ladeprozess, Orchestrierung, Metadaten- und Qualitätsmanagement sowie Monitoring. In modernen Architekturen werden ELT-Ansätze oft mit Tools wie dbt, sowie Orchestrierungssystemen wie Apache Airflow kombiniert und in Cloud-Plattformen wie Snowflake, BigQuery oder Azure Synapse umgesetzt.

---