Dataparallellisme

Dataparallellisme is een benadering binnen het gebied van parallel computing waarbij dezelfde bewerking op verschillende stukken data gelijktijdig wordt uitgevoerd. Het idee is dat de dataset in meerdere partities wordt verdeeld en elke verwerker dezelfde programmacode uitvoert op een andere data-set. Hierdoor kunnen meerdere berekeningen tegelijk plaatsvinden, wat de rekentijd bij grote datasets aanzienlijk kan verlagen.

Het onderscheid met taakparallellisme ligt in de aard van de workload. Bij data-parallelisme voert elke processor dezelfde taak uit, maar op verschillende data-items, terwijl bij taakparallelisme verschillende taken of functies tegelijk worden uitgevoerd, vaak op hetzelfde data-object. Data-parallelisme is vaak geschikt wanneer de bewerking grammeentelijk is en data kan worden opgesplitst zonder afhankelijkheden tussen de partities.

Typische implementaties omvatten vectorprocessors en SIMD-instructies, moderne grafische kaarten (GPUs) met CUDA of OpenCL, en multi-core CPUs. Op grotere schaal worden data-parallelistische taken verdeeld over meerdere knooppunten in een cluster of in de cloud, vaak ondersteund door frameworks voor distributed computing. In de praktijk wordt data-parallelisme ook bekend als SPMD (single program, multiple data).

Toepassingen komen veel voor in machine learning, beeld- en signaalverwerking, en wetenschappelijke simulaties, waar grote datasets of modellen worden verdeeld en tegelijk verwerkt. In ML-training wordt data-parallelisme bijvoorbeeld gebruikt om batchnamen parallel te verwerken en gewichtsupdates te synchroniseren over meerdere apparaten.

Uitdagingen zijn onder meer de partitionering en load balancing van data, communicatie-overhead bij het samenvoegen van resultaten, geheugenbandbreedte en synchronisatie: bij ML-training vereist dit vaak all-reduce-communicatie om parameters te combineren. De mate van schaalbaarheid hangt af van de verhouding tussen paralleliseerbaar werk en niet-paralleliseerbaar deel van de taak.