datenparallele

Datenparallele bezeichnet eine Form der Parallelverarbeitung, bei der dieselbe Operation gleichzeitig auf unterschiedliche Teile eines Datensatzes angewendet wird. Ziel ist es, Rechenaufgaben durch Aufteilen der Datenmenge auf mehrere Recheneinheiten zu beschleunigen, wobei jede Einheit dieselbe Anweisung auf ihrem Datenstück ausführt. Dies unterscheidet sich von der Aufgabenparallele, bei der verschiedene Operationen oder Teilaufgaben unabhängig voneinander auf unterschiedlichen Rechenpfaden bearbeitet werden.

Typische Umsetzungen nutzen SIMD- oder SIMT-Architekturen, wie Grafikkarten (GPUs) oder moderne CPU-Vektoranheiten. Daten werden in Partitionen oder Tiles aufgeteilt, so dass jeder Prozessorblock oder Kern denselben Code, aber unterschiedliche Daten arbeitet. In verteilten Systemen erfolgt oft Datenpartitionierung über Knoten, während Kommunikation minimiert wird, um Skalierung zu ermöglichen.

Anwendungsbereiche sind lineare Algebra, Bild- und Signalverarbeitung, numerische Simulationen, maschinelles Lernen und große Datensätze in der Datenanalyse. Beispiele umfassen Vektor- und Matrixoperationen, Convolution-Verarbeitung in CNNs sowie Map- und Reduce-Operationen in verteilten Frameworks wie Spark.

Vorteile sind hohe Durchsatzraten und gute Skalierbarkeit bei geeigneten Algorithmen. Beschränkungen ergeben sich durch Abhängigkeiten zwischen Daten, Kommunikations- und Speicherkosten sowie die Eignung der Aufgabe für gleichförmige Operationen. Nicht alle Probleme lassen sich effizient datenparallel lösen; manche benötigen task parallelism oder hybride Ansätze.

Im maschinellen Lernen werden datenparallele Trainingsläufe oft verwendet, wobei Modelle auf mehreren Geräten mit denselben Gewichten trainieren, oder beim Inferenz-Parallelismus.