Jaotustöötlus

Jaotustöötlus on arvutustehnika kontseptsioon, mille eesmärk on keerulised arvutusülesanded jagada väiksemateks osadeks ja töödelda neid samaaegselt mitmes sõltumatul või omavahel ühendatud töölõigus või sõlmes. Selline lähenemine suurendab süsteemi skaleeritavust, töökindlust ja võimekust töödelda suuri andmemahtusid.

Kasutusvaldkonnad hõlmavad peamiselt jaotatud süsteeme, kus iga sõlme omab oma mälu ja kettaruumi ning suhtleb üle võrgu. Jaotustöötlus jaguneb sageli andmete järgi (data parallelism) või ülesannete järgi (task parallelism). Levinud arhitektuurid on shared-nothing ehk ilma jagatud mäluta jaotatud süsteemid ning teised mudelid, kus koordineerimine toimub mõnevõrra keerukamal viisil.

Peamised paradigmad ja tööriistad hõlmavad MapReduce’i kontseptsiooni, data-paralleelset töötlemist ning töövooge nagu Hadoop ja Apache Spark. HPC-s kasutatakse MPI-põhiseid lahendusi. Lisaks on olemas jaotatud andmebaasid (nt Cassandra, CockroachDB) ja pilvepõhised lahendused. Jaotustöötlust saab rakendada nii andmete kui teenuste skaleerimisel.

Eelised hõlmavad suuremat läbisõitu, paremat jõudlust suurte andmemahtude korral ja suuremat vastupidavust osade rikke korral. Väljakutsed on võrgu latentsus ja koordineerimise keerukus, andmete järjepidevus ning arendus-, testimis- ja silumiskulud.

Kasutusalad hõlmavad suurandmete analüüsi, veebiteenuseid, teaduslikke simulatsioone, reaalajas töötlemist ja masinõppe töövooge. Jaotustöötlus on keskne kontseptsioon paljude kaasaegsete pilve- ja jaotatud süsteemide arhitektuurides ning jaotatud andmebaaside ekosüsteemide arengus.