Dedupliceren

Dedupliceren is het proces waarbij meerdere kopieën van identieke data worden vervangen door een enkele referentie naar één exemplaar. Hierdoor wordt opslagruimte efficiënter benut en kan bij overdrachten ook bandbreedte worden bespaard. Deduplicatie wordt veel toegepast in opslagomgevingen zoals back-ups, archivering en cloudopslag, maar kan ook gelden voor e-mailservers en bestandssystemen.

Werking en methoden. Bij deduplicatie wordt data opgedeeld in blokken of bestanden. Gelijkenissen worden vastgesteld met behulp van fingerprints of checksums (bijvoorbeeld cryptografische hashes) en een index of catalogus houdt bij welke blokken uniek zijn. Als een blok al bestaat, wordt een verwijzing geplaatst naar het bestaande exemplaar in plaats van het blok opnieuw op te slaan. Er bestaan twee hoofdtypen: bestandsgedreven deduplicatie (file-level), waarbij hele bestanden worden herkend, en blokniveau deduplicatie, waarbij individuele blokken worden vergeleken en opgeslagen. Blokken kunnen fixed-size of variable-size (content-defined) chunking gebruiken, waarbij bij veranderingen in de data alleen relevante delen opnieuw worden geanalyseerd. Bij reconstructie van data worden de verwijzingen gevolgd en de benodigde blokken samengevoegd.

Voordelen, toepassingen en uitdagingen. Deduplicatie verkleint opslagkosten en kan de benodigde bandbreedte voor back-ups en replicatie verminderen. Nadelen zijn onder meer extra CPU- en geheugenbelasting, mogelijke impact op latency, en in sommige situaties fragmentatie bij veel wijzigingen. Encryptie kan deduplicatie bemoeilijken omdat versleutelde blokken minder vergelijkbaar zijn; sommige systemen voeren encryptie na deduplicatie uit of passen speciale techniek toe om privacy te waarborgen. Belangrijke toepassingen bevinden zich in enterprise opslag, data-archivering en cloud-diensten, waar redundantie perst en efficiëntie centraal staan.

Samenvatting. Dedupliceren reduzereert redundante data door middel van verwijzingen naar bestaande blokken of bestanden, met als doel opslag en netwerkgebruik te optimaliseren, terwijl men rekening houdt met prestatie- en beveiligingsafwegingen.

---