dataduplicaatio

Dataduplicatie, ook wel data duplicatie genoemd, verwijst naar het voorkomen van identieke of sterk vergelijkbare gegevens in meerdere bestanden, systemen of kopieën binnen een organisatie. Dit kan ontstaan door uiteenlopende processen zoals gegevensintegratie, back-ups, replicatie tussen databases, caching en meerdere applicaties die dezelfde klant-, product- of transactie-informatie bijhouden. Vaak is duplicatie het gevolg van een ontbrekende gemeenschappelijke representatie van data, bijvoorbeeld een canoniek gegevensmodel, of doordat verschillende systemen onafhankelijk van elkaar worden onderhouden.

De belangrijkste oorzaken liggen in gegevensintegratie en systemen die op verschillende momenten synchroniseren, naast redundante opslag voor prestaties, back-ups en failover. Data kan ook gedupliceerd raken door gegenereerde versies tijdens bewerkingsprocessen, migraties of migratieprojecten die niet volledig zijn afgerond.

Gevolgen van dataduplicatie zijn onder meer inconsistentie tussen bronnen, verhoogde opslag- en beheerkosten, langere back-upprocessen en complexiteit bij gegevens governance en naleving. Fouten bij rapportage en analyses nemen toe wanneer verschillende kopieën niet synchroon zijn.

Beheer en vermindering gebeurt via deduplicatietechnieken en gerichte governance. Inline of post-processing deduplicatie kan redundante data elimineren, terwijl master data management en canonical data models zorgen voor een eenduidige kernrepresentatie. Normalisatie, consistente data-opslag, duidelijke dataretentiebeleid en regelmatige opschoningsrondes dragen bij aan het verminderen van duplicatie. Onderwerpen zoals data governance, datakwaliteit en dataintegratie zijn nauw verweven met het beheren van dataduplicatie.