Gegevensintegratie

Gegevensintegratie is het proces en de technologieën die worden ingezet om data uit verschillende bronnen samen te brengen tot een coherente en bruikbare informatievoorziening. Het doel is een consistente, betrouwbare en tijdige weergave van data te bieden voor analyse, besluitvorming en operationele processen. De praktijk omvat zowel technische als organisatorische aspecten, zoals governance en kwaliteitszorg.

Belangrijke benaderingen zijn ETL (extract, transform, load), ELT (extract, load, transform), data-virtualisatie (data federation) en API-gedreven integratie. Data-integratie vindt plaats in verschillende lagen, zoals datawarehouses, data lakes of operationele systemen, en kan een combinatie van opslag- en verwerkingspatronen vereisen. Kernprocessen zijn gegevensverkenning, datakwaliteit en metadatabeheer, gegevensafstemming en -mapping, transformatie en consolidatie, en de levering van data aan eindgebruikers of applicaties.

Onderliggende concepten zijn data quality, master data management, data lineage en governance. Semantische afstemming en afstemming van data modellen zijn vaak nodig vanwege heterogene bronnen. Bij gegevensintegratie speelt privacy en compliance een rol, bijvoorbeeld ten aanzien van de Europese wetgeving rondom gegevensbescherming.

Technologieën en standaarden omvatten ETL/ELT-tools, data-integratieplatforms, data-virtualisatie, API-management en connectors naar databases, cloudopslag en SaaS-applicaties. Patronen zoals batchgerichte en streaming-integratie komen veel voor, met aandacht voor real-time of near-real-time levering. Toepassingen omvatten ondersteuning van BI en analytics, klantdata-analyse, integratie van operationele systemen, supply chain en reglementaire rapportage.