deduplicatie

Deduplicatie is een technische methode die redundante gegevens identificeert en verwijdert, zodat slechts één exemplaar van elke unieke gegevensblok wordt opgeslagen of verzonden. Het doel is opslagruimte en netwerkverkeer te verminderen zonder verlies van functionaliteit of data-integriteit. Deduplicatie wordt toegepast in opslag- en back-upprocessen en kan handmatig of door software plaatsvinden.

In de praktijk wordt data opgedeeld in blokken of bestanden en worden identieke blokken herkend aan de hand van een hash of fingerprint. Bij content-defined chunking worden blokken bepaald door de inhoud, waardoor kleine veranderingen minder impact hebben op de rest. Deduplicatie kan inline plaatsvinden (tijdens het schrijven) of achteraf als post-processing. Een index houdt bij welke blokken al bestaan; bestanden verwijzen naar dezelfde blokken, waardoor meerdere bestanden ruimte kunnen delen.

Typen omvatten source-side deduplicatie en target-side deduplicatie. Inline deduplicatie vervangt duplicaten onmiddellijk, terwijl post-processing later gebeurt. Encryptie bemoeilijkt vaak deduplicatie omdat versleutelde data minder herhaalbaar is; sommige systemen gebruiken convergente encryptie of andere technieken, maar dit brengt beveiligings- en compliance-overwegingen met zich mee.

Toepassingen omvatten back-ups, archivering, cloudopslag en virtuele omgevingen. Deduplicatie verlaagt opslagkosten en netwerkverkeer, maar brengt extra CPU- en metadata-overheads met zich mee en kan restore-prestaties beïnvloeden bij beperkte resources.

Belangrijke overwegingen zijn de grootte van de benodigde metadata, risico's bij metadata-corruptie, fragmentatie en compatibiliteit met encryptie. Effectieve implementaties koppelen deduplicatie aan bredere data-managementstrategieën en hangen af van het type data en de wijzigingssnelheid om optimale reductie te bereiken.