dataparallellisuuteen

Dataparallellisuus on rinnakkaislaskennan muoto, jossa sama laskentatehtävä suoritetaan useiden datan osien parissa yhtä aikaa. Se mahdollistaa suurten mallien tai suurten datamassojen kouluttamisen tai laskennan hyödyntämällä useita laskentayksiköitä, kuten CPU- tai GPU-klustereita.

Periaate on yksinkertainen: jokaisella laskentayksiköllä on oma kopio mallista ja omat datansuoritusosuutensa. Kukin yksikkö suorittaa laskennan omien datapätkiensä kanssa, laskee gradientit ja tulokset, ja lopuksi kerätään tulokset yhteen päivittääkseen globaalit mallitparametrit. Yleensä toteutuksessa käytetään synkronointia, esimerkiksi all-reduce -operaatiota.

Dataparallellisuus eroaa malliparallellisuudesta, jossa malli jaetaan useisiin osiin, sekä tehtäväparallellisuudesta, jossa laitteet suorittavat eri tehtäviä. Dataparallellisuus on usein helpompaa silloin, kun malli mahtuu yhteen laitteen muistiin ja datamäärä on suuri.

Vaihtoehdoissa on synkroninen ja asynkroninen dataparallellisuus. Synkronisessa versiossa kaikki laitteet päivittävät parametrit samaan aikaan, mikä minimoi epäjohdonmukaisuudet mutta lisää viivettä. Asynkroninen lähestymistapa voi olla nopeampi, mutta saattaa johtaa vanhentuneisiin päivityksiin.

Haasteita ovat korkea kommunikaatio- ja synkronointipanos, kaistanleveys, ns. stragglers-ilmiö, muistinhallinta ja tasainen datan jako sekä optimaalinen viestintäaikataulu.

Käytännön sovelluksia ovat suurten neuroverkkojen kouluttaminen ja kielimallien skaalaaminen GPU-klustereissa. Yleisimmät työkalut ovat PyTorchin DistributedDataParallel, TensorFlowin MirroredStrategy sekä Horovod ja MPI-pohjaiset ratkaisut.

Katso myös: parallelismi, data-parallellisuus, malliparallellisuus, tehtäväparallellisuus.