Datenparallelismus

Datenparallelismus bezeichnet ein Programmier- und Ausführungsmodell, bei dem dieselbe Operation gleichzeitig auf viele Elemente einer Datenmenge angewendet wird. Der Datensatz wird in Teilmengen zerlegt, und jeder Verarbeitungskern führt dieselbe Anweisung auf seinen Teil aus. Da die Berechnungen weitgehend unabhängig voneinander sind, lassen sie sich parallel beschleunigen.

Dieses Muster wird von SIMD-Einheiten in CPUs, Grafikkarten (GPUs) und anderen Massively-Parallel-Systemen genutzt. Programmiermodelle und Bibliotheken wie SIMD-Instruktionssätze, CUDA und OpenCL ermöglichen das Aufteilen von Daten und die gleichzeitige Ausführung. Auch verteilte Frameworks nutzen Datenparallelismus über Datenpartitionierung und lokale Operationen.

Typische Muster sind map, reduce sowie scatter/gather. Beim map wird eine Operation auf jedes Element angewendet; reduce aggregiert die Teilresultate zu einem Gesamtwert. Wichtige Anforderungen sind die Unabhängigkeit der Berechnungen und möglichst geringe Abhängigkeiten zwischen Datenpunkten; bei Abhängigkeiten sind Synchronisation oder Kommunikation nötig.

Anwendungsbereiche umfassen Bild- und Signalverarbeitung, lineare Algebra, Simulationen sowie das Training und die Inferenz von KI-Modellen, insbesondere durch Batch-Verarbeitung.

Begrenzungen ergeben sich durch Abhängigkeiten zwischen Berechnungen, unregelmäßige Datenstrukturen, Speicherbandbreite und Kommunikationsaufwand. Potenziale wachsen mit zunehmender Datenmenge, während bei stark datenabhängigen Algorithmen der Nutzen geringer ist. Datenparallelismus ist eine zentrale Komponente moderner paralleler Architekturen und wird häufig mit anderen Parallelausprägungen kombiniert, um komplexe Probleme effizient zu lösen.