Deduplizierungsrate

Deduplizierungsrate bezeichnet die prozentuale Reduktion von Daten, die als Duplikate identifiziert und entfernt werden, bevor sie gespeichert oder übertragen werden. Sie ist ein zentrales Maß in der Datenverwaltung, insbesondere bei Backup‑, Archivierungs‑ und Cloud‑Speicherlösungen, sowie in Anwendungen wie E‑Mail‑Servern und Datenbankreplikation. Die Rate ergibt sich aus der Formel:

(Raw-Datenmenge – deduplizierte Datenmenge) ÷ Raw-Datenmenge × 100.

Eine hohe Deduplizierungsrate bedeutet, dass große Mengen redundanter Informationen effizient eingespart werden, was die benötigte Speichergröße, Transferzeiten und damit Kosten reduziert. Unterschiedliche Technologien nutzen hierfür unterschiedlich Ansatzpunkte. Bei Dateibasierter Deduplication werden komplette Dateien verglichen, während sich bei Block‑oder Content‑Based‑Deduplication kleinere Datenblöcke (häufig 4 kB bis 64 kB) als Prüfsumme erzeugen. In Inkrementellen oder Differenz‑Backups wird oftmals die letzte Version als Referenz verwendet, wodurch sich erneut hohe Raten erzielen lassen.

Die tatsächliche Deduplizierungsrate richtet sich stark vom Datenvolumen, Treiber (z. B. E‑Mails gegen logische Daten), und der Kompressionstechnik. Typische Werte liegen zwischen 30 % und 90 %. In wissenschaftlichen Datensätzen, bei denen viele wiederholbare Messwerte vorkommen, kann die Rate sogar über 95 % liegen. Im Bildungsbereich, wo viele Medieninhalte identisch repliziert werden, erreichen Server häufig 70 %–80 %.

Systeme messen die Deduplizierungsrate kontinuierlich, um sowohl die Effizienz zu optimieren als auch die Integrität zu überwachen. Negative Auswirkungen entstehen, wenn zu starke Deduplication zu Fehlermeldungen oder inkonsistenten Wiederherstellungen führt. Aus diesem Grund ist ein Ausbalancieren von Rate und Sicherheit entscheidend.