Datavergaring

Datavergaring is het proces van het verzamelen, vastleggen en bewaren van gegevens uit verschillende bronnen ten behoeve van analyse, rapportage of archivering. Het omvat het identificeren van relevante databronnen, het verkrijgen van data en het opslaan ervan in systemen zoals databases, data lakes of datawarehouses, met aandacht voor toegankelijkheid voor geautoriseerde gebruikers.

Het vormt een schakel tussen dataverzameling en datagebruik en is nauw verwant aan data-integratie, dataopslag en data governance. Doel en reikwijdte van de vergaring hangen af van de vragen die men wil beantwoorden, de wettelijke kaders en de gewenste kwaliteit van de gegevens.

Processtappen binnen datavergaring omvatten doeldefiniëring, bronkeuze, extractie (ETL/ELT), transformatie en normalisatie, kwaliteitscontrole en metadatabeheer (bijvoorbeeld provenance). Belangrijke aandachtspunten zijn datakwaliteit, consistentie, interoperabiliteit en de beveiliging van gevoelige gegevens. Daarnaast spelen privacyregelgeving en bewaartermijnen een rol, waardoor beleid voor dataretentie en rechten van betrokkenen relevant zijn.

Technologieën en formats die vaak voorkomen zijn relationele en NoSQL-databases, data lakes en datawarehouses, API's, sensoren en logdata. Veelgebruikte formaten zijn CSV, JSON en XML. Toepassingen van datavergaring zijn onder meer bedrijfsintelligentie, onderzoeksdata en overheidsstatistiek, waar gestructureerde en toegankelijke data de basis vormen voor analyses en besluitvorming.