datatransformatie

Datatransformatie is het proces waarbij ruwe data worden omgezet in een formaat dat geschikt is voor analyse, rapportage of bedrijfsprocessen. Het omvat het wijzigen van structuur, inhoud en betekenis van data, zoals typeconversie, normalisatie, standaardisatie, samenvoegen en splitsen van velden, verrijking met externe bronnen en het toepassen van regels voor validatie en kwaliteitscontrole. Data kan afkomstig zijn uit verschillende systemen en het doel is interoperabiliteit en consistente bruikbaarheid.

Datatransformatie vindt plaats in verschillende modellen van data-integratie, zoals ETL (extract, transform, load) en ELT (extract, load, transform). Bij ETL gebeurt de transformatie vaak buiten het doelsysteem en voordat data worden geladen; bij ELT vindt de transformatie plaats nadat de data in het doelsysteem staan, wat voordelen biedt bij grote workloads en moderne datawarehouses.

Veelvoorkomende transformatiestappen zijn: veldconversie en typecasting; normalisatie en standaardisatie van waarden; verwijdering van duplicaten en inconsistenties; gegevenssamenvoeging (join) en referentiële integriteitscontroles; berekeningen en afgeleide kolommen; en verrijking met externe datasets. Validatie- en kwaliteitsregels dragen bij aan traceerbaarheid en betrouwbaarheid.

Datatransformatie is cruciaal in data-integratie, datawarehousing en big data-omgevingen, waar consistente data de basis vormen voor analyse, dashboards, forecasting en besluitvorming. In real-time omgevingen vindt streamingtransformatie plaats, waarbij gegevensstromen direct worden omgezet tijdens transport.