Deduplicasjon

Deduplicasjon er en datareduksjonsteknikk som eliminerer dupliserte data ved å lagre bare unike innholdsenheter og referere til dem flere ganger. Den brukes i sikkerhetskopieringssystemer, arkivlagring og skyleverandører for å redusere lagringsplass og nettverkstrafikk. Deduplicasjon kan være blokkbasert (chunkbasert) eller filbasert; blokknivå gir ofte høyere reduksjon, mens filnivå er enklere å implementere.

Slik fungerer det generelt: data deles inn i blokker eller chunks. Hver blokk genererer et innholdsbart hashverdier (fingeravtrykk). Når en ny blokk har samme innhold som en allerede lagret blokk, lagres bare én kopi og alle forekomster refererer til den via metadata. Opplysninger om referanser lagres i en deduplikasjonsdatabase. Prosessen kan kjøre inline under skrivoperasjonen eller som en etterbehandlingsjobb. Mange systemer kan deduplicere over flere volumer eller hele lagringsmiljøet, noe som kalles global eller cross-volume dedupe.

Fordeler inkluderer betydelig redusert lagringsbehov og båndbredde for sikkerhetskopier og replikasjon, lavere kostnader og potensielt raskere gjenoppretting av data. Deduplicasjon kan også forbedre skylagringseffektiviteten ved å redusere datamengden som må flyttes og lagres.

Utfordringer og hensyn inkluderer økt CPU- og minnebruk for beregning av hash og håndtering av metadata, risiko for fragmentering og lengre gjenopprettingsstier ved metadatafeil. Kryptering kan gjøre deduplicasjon vanskeligere; ved bruk av konvergent kryptering er det mulig å deduplicere kryptert data, men dette innebærer sikkerhets- og personvernutfordringer. Effektiviteten varierer med datatyper, endringer og arbeidsbelastning.

Viktige vurderinger inkluderer valg mellom inline og post-prosess deduplicasjon, overvåkning av dedupe-ratio og ytelse, og regelmessig testing av gjenoppretting for å sikre dataintegritet.