dataduplicatie

Dataduplicatie is het bestaan van identieke gegevens in meerdere opslagplaatsen of records. Het kan onbedoeld ontstaan bij migraties, back-ups of synchronisatie tussen systemen. Het onderscheid met replicatie is cruciaal: duplicatie betreft ongewenste data, terwijl replicatie meerdere kopieën voor beschikbaarheid impliceert; deduplicatie probeert duplicaten te verwijderen of te verminderen.

Oorzaken:

Meerdere invoerpunten registreren dezelfde data, er is vaak geen volledige consolidatie bij integratie, en back-ups kunnen identieke bestanden meerdere keren opslaan. Migraties zonder centralisatie en het registreren van dezelfde informatie in verschillende systemen dragen bij aan duplicatie. Encryptie bemoeilijkt deduplicatie omdat versleutelde data minder vergelijkbaar is; dit vraagt om speciale aanpak.

Gevolgen:

Duplicatie leidt tot hogere opslagkosten, langere back-ups en herstelprocessen, en verhoogt het risico op inconsistentie bij wijzigingen die niet overal worden doorgevoerd. Het kan ook de prestaties van zoekopdrachten en analyses verminderen en uitdagingen opleveren voor data governance en rapportage.

Beheer en oplossingen:

Deduplicatie maakt gebruik van technieken zoals hashing en fingerprinting om identieke data te herkennen. Er zijn blokniveau- en bestandniveau-varianten: blokniveau deduplicatie slaat alleen unieke blokken op; bestandniveau vergelijkt hele bestanden. Inline deduplicatie gebeurt tijdens het schrijven, post-processing deduplicatie achteraf. Een afweging tussen beveiliging, prestaties en opslagreductie is gebruikelijk, zeker bij encryptie en gedeelde omgevingen.

Toepassingsgebieden:

Back-upomgevingen, cloudopslag, bestandssystemen en databases zijn typische plekken waar dataduplicatie optreedt. Het doel is minder opslagruimte, lagere kosten en betere data-integriteit en governance.