Datenreduzierung

Datenreduzierung bezeichnet den Prozess, die Menge an zu speichernden, zu übertragenden oder zu verarbeitenden Daten zu verringern, um Speicherbedarf, Netzwerkauslastung oder Rechenleistung zu senken. Sie kann verlustfrei oder verlustbehaftet erfolgen; im ersten Fall bleibt die exakte Information erhalten, im zweiten geht ein Teil der Informationen verloren, oft zugunsten höherer Effizienz.

Zu den zentralen Ansätzen gehören Datenkompression, Deduplication, Sampling und Dimensionalitätsreduktion. Kompression reduziert die Datenmenge durch effiziente Codierung oder Transformation. Deduplication entfernt redundante Blöcke, besonders in Backups und Speichersystemen. Sampling reduziert die Datenmenge durch Auswahl von Teilmengen, während Dimensionalitätsreduktion die Anzahl der Merkmale in Datensätzen verringert.

Typische Techniken umfassen verlustfreie Verfahren wie Huffman-, LZW- oder Deflate-Kodierung sowie verlustbehaftete Transformkodierung mit Quantisierung in Bild- oder Audiodateien. In der Datenanalyse werden Verfahren wie Hauptkomponentenanalyse (PCA), Singulärwertzerlegung (SVD) oder andere Transformationsmethoden eingesetzt, um wesentliche Strukturen in den Daten zu bewahren. Praktisch kombinieren Systeme oft mehrere Ansätze, zum Beispiel vor der Übertragung komprimierte Daten oder vor der Analyse reduzierte Merkmale.

Anwendungsgebiete reichen von der Archivierung großer Datenbestände über Multimedia-Streaming und Sensorik bis hin zu mobilen Geräten. Typische Kennzahlen sind Kompressionsrate, Informationsverlust, Qualitätseinschränkungen, Rechenaufwand und Latenz. Wichtige Überlegungen sind der gewünschte Kompromiss zwischen Datenqualität und Reduktionsgrad sowie Auswirkungen auf Latenz, Fehlertoleranz und Systemkomplexität.