deduplikaatiota

Deduplikaatio tarkoittaa datan sisäisten kopioiden tunnistamista ja vähimmäismäärän tallentamista. Käytännössä saman sisällön osista tallennetaan vain yksi kopio, ja muut viittaavat siihen. Tämä pienentää tallennustilan tarvetta ja vähentää datansiirtotarvetta varmuuskopioissa ja siirroissa.

Keskeisiä toteutustapoja ovat lohkopohjainen (block-level) ja tiedostokohtainen (file-level) deduplikaatio. Lohkot voivat olla kiinteä- tai sisällön määrittelemää (variable-size) chunkingia, esimerkiksi Rabin-fingerprintingin avulla. Deduplikaatio voidaan tehdä inline-tallennusvaiheessa tai jälkikäteen (post-process), sekä lähde- että kohdepohjaisena.

Toimintaperiaate on seuraava: data pilkotaan, jokaisesta segmentistä lasketaan tunniste (hash). Uniikit segmentit tallennetaan ja muut kopiot viittaavat jo olemassa oleviin segmentteihin. Metadatahallinta ja viitemerkinnät mahdollistavat palautuksen.

Käyttökohteita ovat varmuuskopiointi, arkistointi sekä suurten datamäärien tallennuksen optimointi, esimerkiksi virtuaalikasettien tai muun infrastruktuurin yhteydessä. Deduplikaatio on yleisempi nykyisissä säilö- ja pilviteknologioissa.

Hyödyt sisältävät tallennus- ja kaistansäästön sekä kustannusten alentumisen. Rajoitteita ovat lisäkuorma prosessoinnissa ja muistissa, sekä mahdollinen riippuvuus deduplikointitietokannasta tai metadataongelmat. Salaus ennen deduplikointia voi heikentää tehokkuutta, joten monissa järjestelmissä deduplikointi tehdään ennen salauksen tai käytetään erityisiä ratkaisuja, jotka huomioivat salauksen vaikutukset.