ETLpijplijn

Een ETL-pijplijn, ook wel ETL-pijplijn genoemd, verwijst naar het proces van Extract-Transform-Load waarbij data vanuit diverse bronnen wordt verzameld, getransformeerd naar een gestandaardiseerd schema en vervolgens geladen in een doelsysteem zoals een datawarehouse of data lake. In sommige contexten wordt gesproken van ELT (Extract-Load-Transform), waarbij transformatie pas na het laden plaatsvindt, meestal via de kracht van het doelsysteem.

De kerncomponenten zijn Extractie, Transformatie en Laden. Bij Extractie worden data uit verschillende bronnen gehaald, zoals relationele databases, bestanden, API’s of streams. Transformatie omvat schoonmaken, normaliseren, verrijken, dedupliceren en structureren van data zodat deze consistent kan worden opgeslagen en geanalyseerd. Laden plaatst de getransformeerde data in het doelsysteem, waar het beschikbaar komt voor rapportage, analyse en data science. ETL-pijplijnen kunnen batchgewijs werken of gedeeltelijk real-time verwerken via streaming.

Architectuur en werking kenmerken. ETL-pijplijnen worden vaak orkestratiegedreven, met tools die afhankelijkheden en planning beheren (bijv. Airflow, Apache NiFi). Ze richten zich op data-integratie, governance en kwaliteitscontrole, inclusief metadata, data lineage, foutafhandeling en retries. Moderne pijplijnen houden rekening met schaalbaarheid en kunnen zowel on-premises als in de cloud draaien, met ondersteuning voor meerdere bron- en doelsystemen.

ELT, technologieën en overwegingen. Bij ELT wordt data eerst geladen en pas getransformeerd in het doelsysteem, wat vooral aanslaat bij krachtige datawarehouses zoals Snowflake of BigQuery. Dit kan sneller initiële beschikbaarheid opleveren en kostenefficiënte verwerking mogelijk maken, maar vereist sterke governance en beveiliging. Het ontwerp van een ETL-pijplijn hangt af van datastructuren, latency-eisen en de gewenste analyseomgeving.