deduplikaatiolla

Deduplicaatio tarkoittaa tallennus- tai tiedonsiirtoprosessia, jossa saman tai samanlaisen sisällön kopiot poistetaan. Tavoitteena on pienentää tallennustilan käyttöä sekä vähentää kaistanleveyden ja varmuuskopioiden kustannuksia, kun sama tieto tallennetaan vain kerran.

Prosessi jaetaan datan lohkoihin tai tiedostoihin. Jokaisesta lohkosta muodostetaan tunniste (esim. hash), ja tallennukseen otetaan talteen vain ainutlaatuinen kopio jokaisesta lohkosta. Määrittelyyn liittyy inline- sekä post-process -toteutukset sekä lohko- tai tiedostokohtainen deduplikointi.

Tyypit jakautuvat kiinteälohkopohjaiseen (fixed-length) deduplikointiin sekä sisällön mukaan määriteltyyn, eli muuttuvapituuslohkopohjaiseen (content-defined) deduplikointiin. Lisäksi erotellaan inline- tai post-process -menetelmät sekä single-instance storage -periaatteen käyttö.

Hyötyinä ovat tallennuskapasiteetin merkittävä säästö, kaistanleveyden väheneminen varmuuskopioissa sekä nopeammat varmuuskopiot ja palautukset. Lisäksi deduplikointi voi vähentää kustannuksia pilvitallennuksessa ja arkistoinnissa.

Rajoitteita ovat lisääntynyt laskenta- ja muistitarve, monimutkainen metadata sekä skaalautuvuuden hallinta. Salauksen vaikutus on merkittävä: salatun datan duplikaatioiden tunnistaminen on hankalampaa, ja joidenkin järjestelmien on tuettava encryption-safe deduplikointia. Deduplikointi vaatii huolellista hallintaa ja vakaata varmuuskopiointipolkua.

Käyttökohteita ovat varmuuskopiot, virtuaalijärjestelmäkuvat, pilvitallennus sekä arkistointi, joissa sama data esiintyy useina kopioina. Deduplikointi voi olla paikallinen tai hajautettu, ja sitä käytetään usein yhdessä muiden tallennusjärjestelmän optimointikeinojen kanssa.