deduplicointi

Deduplicatsioon on andmete korduvuse tuvastamise ja eemaldamise protsess, mille eesmärk on vähendada salvestusruumi, varundus- ja andmeedastusmahtu. Tuvastades sama sisu koopiad, säilitab süsteem ainult ühe koopia ning kasutab teistele koopiaid viiteid. See võimaldab märkimisväärset salvestusruumi kokkuhoidu ja parandab varunduste ning andmeedastuste efektiivsust.

Peamised lähenemised on file-level deduplatsioon ning plokk- või sisu-põhine deduplatsioon. Failide kaupa lähenemine võrdleb kogu faili sisu, samas kui plokk- või chunk-põhine meetod jagab andmed väikesteks osadeks ning leiab korduvad plokid. Deduplatsioon võib toimuda inline (otseselt andmete kirjutamisel) või post-process vormis, pärast esialgset salvestamist. Lõplikud lõimed võivad olla fikseeritud suurusega plokid või muutuv suurusega plokid (nt Rabin-fingerprintingust lähtuvad meetodid).

Tehnilised põhimõtted hõlmavad sisu identifitseerimist kontrollsummade või hajuste abil ning sageli kasutamist sisu-keskse talletuse (content-addressable storage) kontseptsioonis. Kui leitakse duplikaat, asendatakse see viitega juba talletatud koopiale. Deduplatsioon on laialdaselt kasutusel varundus- ja arhiveerimissüsteemides, pilvesalvestuses ning suurtes andmekogudes.

Rakendused hõlmavad ettevõtete varundust, arhiveerimist, e-posti serverite haldamist ja pilvede hoidlaid, kus reduktsioon reaalselt vähendab seadmete, võrguliikluse ja ajakuluga seotud kulusid.

Eelised hõlmavad salvestus- ja võrguressursside kokkuhoidu ning kiirendatud varundus- ja taastamisprotsesse. Väljakutsed: täitmise koormus CPU/I/O-le, andmete fragmentatsioon, metaandmete haldamine ning krüpteerimisega töötamisel vähenev deduplatsiooni efektiivsus. Krüpteerimisega kaasneb täiendav võtmete haldamise keerukus, mis võib piirata deduplatsiooni potentsiaali.