parallelliseres

Parallellisering er prosessen der en beregning deles opp i flere deloppgaver som kan kjøres samtidig på flere prosessorer eller kjerner. Målet er å redusere kjøretiden og utnytte moderne maskinvare som fler-kjerne-CPUer, GPUer eller kluster av maskiner.

Det finnes to hovedtyper parallellisering. Dataparallellisering innebærer at samme operasjon kjører på ulike dataenheter samtidig, for eksempel å anvende samme beregning på hver rad i et datasett eller hver kolonne i en matrise. Oppgaveparallellisering innebærer at ulike oppgaver kjøres parallelt, for eksempel separate fasene av en pipeline eller forskjellige deler av et program.

Effektiv parallellisering avhenger av granuleringsgrad (størrelsen på arbeidsenhetene), kommunikasjons- og synkroniseringsoverhead samt hvor stor andel av programmet som kan kjøres parallelt. Ifølge Amdahls lov har hastighetsforbedringen ofte en grense basert på den serialle delen av koden. Mer moderne perspektiver bruker også Gustafsons lov, som ser på mulig økning i problemstørrelse.

Vanlige verktøy og teknologier inkluderer OpenMP og pthreads for delt minne, MPI for distribuert minne, og CUDA/OpenCL for GPU-beregninger. Store data-rammeverk som MapReduce eller Apache Spark er spesialiserte former for dataparallellisering som skalerer over store datasett i klynger.

Ved implementering er det viktig å vurdere datasynkronisering, trådsikkerhet, konkurransetilstander og potensielle cache-relaterte problemer som false sharing. Parallellisering gir ofte betydelige ytelsesgevinster, men er ikke alltid lønnsom, og krever nøye design og testing.