deduplikointia

Deduplikointi on tallennustilan hallintaan tähtäävä tekniikka, jonka tarkoituksena on vähentää datan päällekkäisyyksiä. Prosessissa tunnistetaan ja tallennetaan vain yhden kopio samanlaisesta datasta, ja muut kopiot viittaavat tähän yhteen kopioon. Tämä voi koskea sekä tiedosto- että lohkopohjaista dataa.

Deduplikointi voidaan toteuttaa eri tavoilla: tiedostokohtaisena (file-level) ja lohkokohtaisena (block-level), sekä inline- että jälkikäsittelyyn perustuvana. Lohkokohtaisessa deduplikoinnissa data pilkotaan pienempiin lohkoihin, joista jokaisesta lasketaan avain eli hajautusarvo (hash). Uudet lohkot tallennetaan yksittäiseen tallennuspaikkaan ja tiedostot rakennetaan näiden lohkojen viitteiden avulla.

Käytännössä deduplikointi vähentää tallennustilaa ja kaistan tarvetta siirrossa. Se on erityisen hyödyllinen varmuuskopiointijärjestelmissä, arkistoinnissa ja virtuaalijärjestelmissä, joissa saman sisältöinen data esiintyy useissa kopioissa tai käyttötilanteissa.

Rajoitukset ja huomioitavat seikat: deduplikointi vaatii tehokkaan indeksin ja usein lisämuistia, mikä voi vaikuttaa suorituskykyyn. Inline-deduplikointi voi lisätä kirjoitusviivettä, ja deduplikointi ei auta, jos data on satunnaista tai suurelta osin salattua. Salauksen jälkeen deduplikointi on haasteellista, joten data voidaan käytännössä deduplikointia ennen salausta tai käyttää ratkaisuja, jotka tukevat sekä salauksen että deduplikoinnin yhteistoimintaa. Deduplikoinnin hyöty riippuu datan rakenteesta ja toistuvuudesta.

Yhteenveto: Deduplicointi on yleisesti käytetty keino pienentää tallennus- ja verkon kuormitusta, erityisesti varmuuskopioinnin ja arkistoinnin yhteydessä. Sen tehokkuus riippuu datan luonteesta ja järjestelmän ominaisuuksista.