Datajakautuminen

Datajakautuminen on prosessi, jossa suuret datamassat jaetaan pienempiin, hallittavimpiin osiin tai lohkoihin. Tavoitteena on parantaa skaalautuvuutta, suorituskykyä ja hallittavuutta sekä vähentää tiedon hakemisen viivettä. Datajakautumista käytetään erityisesti hajautetuissa tallennus- ja laskentajärjestelmissä sekä suurten datavirtojen käsittelyssä.

Tyypit ja hakutoimenpiteet vaihtelevat käyttötarkoituksen mukaan. Yleisiä lähestymistapoja ovat hash-pohjainen partitionointi, jossa avaimet hajautetaan ja jaetaan eri solmille, sekä range-pohjainen partitionointi, jossa avainarvoja käytetään määritettyjen alueiden mukaan eri lohkoihin. Lisäksi voi olla listapohjaista tai avaimien mukaan käsitteellisesti määriteltyä jakamista. Fyysisesti data voidaan jakaa rivien mukaan (horizontal partitioning) tai kenttien mukaan (vertical partitioning), riippuen siitä, miten dataa halutaan pilkkoa.

Sovellukset ja vaikutukset ovat laajat. NoSQL-tietokannat kuten Cassandra ja HBase käyttävät avainpohjaista partitionointia suurten datamassojen skaalaukseen. Datawarehousing- ja big data -putkistot hyödyntävät lohko- tai riveihin perustuvaa jakamista rinnakkaisen käsittelyn ja hajautetun tallennuksen saavuttamiseksi. Hyödyiksi muodostuvat parempi suorituskyky, parempi tulee, ja mahdollisuus laajentaa järjestelmää lisäämällä solmuja. Haasteisiin kuuluu tasapainon ylläpitäminen, hotspotien välttäminen, rebalansointi-kustannukset sekä monimutkaisempi kyselyiden ja konsistenssin hallinta, etenkin hajautetuissa ympäristöissä.

Käytännössä datajakautuminen voi olla osa järjestelmäkohtaista toteutusta tai se voi olla kokonainen arkkitehtuurin periaate. Replikointi ja varmuuskopiointi ovat usein tämän lisäksi keskeisiä, jotta järjestelmä pysyy käytettävissä vikatilanteissa.