datalaadlaag

Datalaadlaag, ook wel landing layer genoemd, is een laag in een data-architectuur waar data uit bronsystemen wordt ingelood en opgeslagen in zijn ruwe of minimaal getransformeerde vorm. Het doel is een betrouwbare, traceerbare bron van ruwe data te bieden die later in hogere lagen van het platform kan worden verwerkt, opgeschoond en verrijkt.

In de datalaadlaag bevinden zich doorgaans diverse bestanden of objecten, afkomstig uit operationele systemen, sensoren of berichtenkanalen. Data kan bestaan uit tabellen, logbestanden en bestanden in uiteenlopende formaten zoals JSON, CSV of Parquet. Vaak wordt per bron en per tijdseenstelling gescheiden opgeslagen, zodat herlezing en reproductie mogelijk blijven. De nadruk ligt op het behouden van de oorspronkelijke structuur en inhoud, met beperkte of geen domeinspecifieke transformatie.

Kenmerken van de datalaadlaag zijn onder meer het bewaren van ruwe data, erkenning van herkomst en lineage, en ondersteuning van snelle ingestie en reprocessing. Metadata, tijdstempels en bronkoppelingen spelen een cruciale rol. Data wordt doorgaans opgeslagen in een data lake, object storage of soortgelijke omgeving, mogelijk met schema-on-read-benadering.

Rol en workflows: de datalaadlaag fungeert als唯一 ingangspunt voor data pipelines (ETL/ELT) en ondersteunt herhaalde invoer en foutherstel. Uit deze laag kunnen gegevens verder worden doorgevoerd naar bewerkte, verrijkte of bewaarde lagen voor analyse, rapportage en machine learning.

Governance en beveiliging: in deze laag is aandacht voor data-kwaliteit, metadata, data lineage en toegangscontrole cruciaal, evenals privacy- en retention policies. Ruwe data vereist passende beveiligingsmaatregelen vanwege potentieel gevoelige informatie.