parallelisoinnin

Parallelisoinnin tarkoituksena on suorittaa useita laskutoimituksia samanaikaisesti useiden suorittimien, ytimien tai laskentayksiköiden avulla. Tämä voi merkittävästi lisätä ohjelman läpimenoa erityisesti suurten datamäärien käsittelyssä, simuloinneissa ja koneoppimisessa.

Parallellisoinnin tyypit jakautuvat yleensä data-parallellisuuteen, tehtäväparallellisuuteen ja putkistoparallellisuuteen. Data-parallellisuudessa sama operaatio suoritetaan rinnakkain eri dataosille. Tehtäväparallellisuudessa eri tehtävät suoritetaan rinnakkain. Putkistoparallellisuus hyödyntää sarjan vaiheita, jotka voidaan suorittaa sujuvasti rinnakkain. Arkkitehtuurin mukaan voidaan puhua jaetusta muistista (shared memory) ja jaetusta muistista riippuvasta (distributed memory) järjestelmästä.

Ohjelmoinnissa käytetään erilaisia malleja ja työkaluja. Shared memory -ympäristössä hyödynnetään usein OpenMP-tyyppisiä jaettu-ytimet -ratkaisuja, kun taas distributed memory -järjestelmiin soveltuvat MPI-tyyntöiset ratkaisut. GPU-ohjelmointi käyttää esimerkiksi CUDA- tai OpenCL -kehyksiä. Datan käsittelyyn ja koneoppimiseen sovelletaan korkeammantason kirjastoja, kuten TensorFlow, PyTorch sekä Dask.

Hyödyt ilmenevät suuremmassa läpimenossa ja paremmassa resurssien hyödyntämisessä. Haasteita ovat suunnittelun ja kehityksen monimutkaisuus, tietojen siirtelyyn ja synkronointiin liittyvät kustannukset sekä muistivirtojen hallinta. Amdahlin laki muokkaa tehostamisen maksimia, mikä asettaa rajoituksia paranteluille nopeuksille riippuen osien riippuvuuksista.

Sovellukset kattavat tieteellisen laskennan, ilmastomallit, suurten datamassojen analysoinnin sekä grafiikan, simuloinnin ja tekoälyn kaltaiset tehtävät. Parallelisoinnin onnistunut käyttöönotto vaatii algoritmista harkintaa sekä infrastruktuurin ja ohjelmiston yhteensovittamista.