Deduplikoinnin

Deduplikointi (deduplication) on tallennusjärjestelmissä käytettävä datan vähentämiskeino, jonka tarkoituksena on poistaa useista samanlaisista tiedoista toistoja ja korvata ne viitteillä. Tämä johtaa tallennuskapasiteetin säästöihin ja pienempään verkon liikenteeseen, kun sekä tiedoston että datan kopioiden määrä vähenee.

Prosessi jakautuu lohko- ja tiedostotasolle. Lohkopohjaisessa deduplikoinnissa data pilkotaan pienemmiksi lohkoiksi, joiden sisällöt tiivistetään hash-arvoilla. Uniikit lohkot tallennetaan, ja vastaavat kopiot korvataan viitteillä näihin lohkoihin. Deduplikointi voi olla inline (toteutettu kirjoitusvaiheessa) tai jälkikäteen (post-process), jolloin duplikaatit poistetaan myöhemmin varastosta. Yksittäisten lohkojen viitteinä käytetään metatietokantaa, joka mahdollistaa tiedon palauttamisen.

Tyypit ja menetelmät. Tiedostotasoinen deduplikointi poistaa toistoja koko tiedostoista, kun taas lohkopohjainen keskittyy datan sisäisiin toistoihin. Fixed-length ( kiinteälohko) vs. content-defined chunking (sisältöä määrittelevä lohkon jakaminen) eroavat siitä, miten lohkot määritellään ja miten hyvin ne voivat sopeutua pieniin muutoksiin datassa. Varianssit vaikuttavat deduplikointikertoimiin ja suorituskykyyn.

Käyttökohteet ja vaikutukset. Deduplikointia hyödynnetään erityisesti varmuuskopioinnissa, arkistoinnissa ja suurten datamäärien tallennuksessa pilvi- ja NAS-järjestelmissä. Etuja ovat tallennuksen tilansäästö, pienempi verkkoliikenne ja nopeammat varmuuskopiointi- sekä palautusprosessit. Haasteita ovat metadatajärjestelmän hallinta, suorituskykykustannukset sekä tapauskohtainen toimivuus salauksen kanssa ( encrypted data voi heikentää deduplikointia). Inline-deduplikointi voi lisätä kirjoitusviiveitä, kun taas post-process voi joutua varaamaan lisätilaa tilapäisesti.

Rajoitteet ja huomioitavaa. Deduplikointi ei aina ole tehokasta, erityisesti kun tiedot ovat ajan myötä muuttuneet tai kun tietoja on erittäin suojattu salauksella. Sen hyöty on suurin samanlaisten varmuuskopioiden ja aktiivisten datavarastojen yhteydessä. Tiedon eheys turvataan usein tarkistuksilla (hash-tarkistukset) ja palautuksen varmistusprosesseilla.

Yhteenveto. Deduplikointi on keskeinen tekniikka datan reduktionissa, joka vähentää tallennus- ja siirtotarvetta. Sen valinta inline vs post-process sekä lohko- vs tiedostotasoinen lähestymistapa riippuu käyttöympäristöstä, tiedonmuutoksesta ja suorituskykyvaatimuksista.