Paralelizace

Paralelizace je proces rozdělení výpočtu na více procesorů nebo vláken, aby bylo možné úlohy provádět současně a zkrátit celkový čas jejich vyřešení.

Existují dva hlavní typy: úlohová paralelizace (task parallelism) a datová paralelizace (data parallelism). U první se rozdělí samotné úlohy, u druhé se aplikuje stejná operace na rozdělené části dat.

Modely architektury zahrnují sdílenou paměť (shared memory) a distribuovanou paměť (distributed memory). Prakticky to ilustruje použití OpenMP pro sdílenou paměť a MPI pro komunikaci mezi procesy v distribuovaném prostředí. Grafické procesory (GPU) a akcelerátory využívají programovací modely CUDA a OpenCL.

Efektivita paralelizace se vyjadřuje pomocí rychlostního zisku (speedup). Mezi klíčové teorie patří Amdahlův zákon a Gustafsonův zákon. Hlavní omezující faktory jsou závislosti mezi výpočty, režie synchronizace a komunikace, vyvažování zátěže a správa paměti.

Použití zahrnuje vědecké a technické výpočty, simulace, zpracování signálů a obrazů, rendering a strojové učení. Paralelizace je klíčovou technikou pro využití moderních vícejádrových a vícepřístupových systémů, datových center a cloudových služeb. Historicky vychází z 60. a 70. let a vyvinula se do dnešních velkých superpočítačů, GPU akcelerace a distribuovaných systémů.