BatchDaten

Batchdaten bezeichnen Datensätze, die aus definierten Zeiträumen stammen und in regelmäßigen oder ad hoc geplanten Durchläufen gemeinsam verarbeitet werden. Im Gegensatz zu Echtzeit- oder Streaming-Daten werden Batchdaten gewöhnlich gesammelt, zunächst gespeichert und erst in einem oder mehreren Durchläufen transformiert, angereichert und in Zielsysteme wie Data Warehouses, Data Lakes oder Data Marts geladen.

Zu den Merkmalen gehören zeitliche Konsolidierung, deterministische Verarbeitung, hohe Datenvolumen pro Durchlauf und eine verzögerte Verfügbarkeit der Ergebnisse. Die Verarbeitung erfolgt typischerweise als ETL- oder ELT-Prozess, der Bereinigungen, Aggregationen, Joins und Qualitätsprüfungen umfasst. Batchprozesse sind häufig geplante Jobs, die über Scheduler wie cron, Apache Airflow, Apache Oozie oder ähnliche Werkzeuge gestartet werden.

Quellen für Batchdaten reichen von Transaktionslogs über Abrechnungs- und Bestandsdaten bis hin zu Messdaten, Logdateien oder regelmäßig hochgeladenen Dateien. In der Praxis werden Batchdaten genutzt, um historische Analysen, Berichte, Abrechnungen oder Datenkataloge zu erstellen. Technologien im Batch-Umfeld umfassen Skalierbare Frameworks wie Hadoop MapReduce oder Apache Spark im Batch-Modus, sowie kommerzielle oder Open-Source-ETL-Tools und Datenintegrationsplattformen.

Zu den Vorteilen gehören Skalierbarkeit, Reproduzierbarkeit und Eignung für große Datenmengen. Nachteile sind Latenz und fehlende Echtzeitfähigkeit, weshalb moderne Architekturen häufig hybride Ansätze verfolgen, die Batch- und Streaming-Verarbeitung kombinieren. Datenschutzaspekte wie Anonymisierung oder Pseudonymisierung sind in Batchprozessen ebenso zu beachten wie Zugriffskontrollen und Logging. Historisch dominiert Batch in Data-Warehouse-Umgebungen, doch vermehrt werden auch Streaming-Lösungen integriert, um Echtzeit-Analysen zu ergänzen.