deduplikacji

Deduplikacja danych, znana również jako deduplikacja, to technika optymalizacji przechowywania polegająca na usuwaniu duplikatów. System przechowuje tylko unikalne fragmenty danych i odwołuje się do nich w razie powtórzeń, co zmniejsza zajmowaną przestrzeń.

Istnieją różne podejścia: deduplikacja na poziomie bloków (block-level) oraz na poziomie plików (file-level). Blokowa deduplikacja dzieli dane na mniejsze fragmenty, które są identyfikowane po ich zawartości, a duplikaty są zastępowane odniesieniami do istniejących bloków. Deduplicacja plików eliminuje całe kopie plików o identycznej treści.

Dodatkowo wyróżnia się tryby pracy: inline, działający podczas zapisu, oraz post-process, wykonywany po zapisaniu danych, często w trakcie operacji kopii zapasowych. Niektóre systemy łączą oba tryby, tworząc tryb hybrydowy.

Mechanizm polega na podziale danych na fragmenty i wyliczeniu dla nich identyfikatora (zwykle hasha). Gdy identyczny fragment już istnieje w repozytorium, nowa kopia nie jest zapisywana, a jedynie referencja do istniejącego fragmentu. Podobnie buduje się odniesienia do bloków podczas odtwarzania pliku.

Zalety obejmują redukcję zapotrzebowania na miejsce w magazynie danych i pasmie sieciowym, co przekłada się na tańsze przechowywanie i szybsze kopie zapasowe. Wady to dodatkowy narzut na metadane i obliczenia, potencjalny wpływ na wydajność zapisu/odczytu oraz ograniczoną skuteczność przy danych zaszyfrowanych lub losowych.

Przy projektowaniu rozwiązań deduplikacja wymaga uwzględnienia bezpieczeństwa i integralności danych; często stosuje się weryfikację sum kontrolnych i polityki szyfrowania, które mogą utrudniać deduplikację, jeśli szyfrowanie następuje przed procesem deduplikacji.