dataparallellisering

Dataparallellisering er en form for parallellprosessering der den samme operasjonen utføres på flere deler av inngangsdataene samtidig. Dette skiller seg fra oppgaveparallellisering, der ulike prosesser eller tråder utfører forskjellige oppgaver. Innenfor Flynn’s taksonomi betegnes dataparallellisering ofte som SIMD- eller data-parallellisme: beregninger som utføres i parallel på tilsvarende operander i store datasett, som vektorer eller matriser.

Implementasjonen innebærer vanligvis å dele datasettet i mindre fragmenter og tildele hver fragment til en annen utøver (kjerne, tråd eller enhet). Den samme beregningen anbringes på alle fragmentene, og resultatene kombineres ofte via reduksjon eller sammenslåing. Kjøretiden avhenger av minneadgang, båndbredde og kommunikasjonskostnader mellom enheter.

Vanlige plattformer er grafikkprosessorer (GPU-er) hvor CUDA eller OpenCL gir massiv data-parallell beregning, samt moderne CPU-er som støtter SIMD-vectorisering (SSE/AVX) og rammeverk som OpenMP eller TBB for å uttrykke datastrømsparallellisme. Data-parallellisering brukes også i store datarammer som distribuerte analyse-rammeverk når operasjonene er parallelliserbare over data.

Bruksområder inkluderer vitenskapelige simuleringer, maskinlæring (spesielt matrise- og tensoroperasjoner), bilde- og videobehandling, og store databehandlingsoppgaver. Fordeler er høy gjennomstrømning og skalerbarhet med datasettstørrelse; ulemper inkluderer behov for god minneadgang, potensiell belastningsubalanse, synkroniseringskostnader og presisjonsutfordringer ved flyttall.