hashpartitionering

Hashpartitionering is een data-partitioneringsstrategie waarbij records worden toegewezen aan partitities op basis van een hashfunctie toegepast op een sleutelattribuut. Het doel is de data gelijkmatig over meerdere opslagplaatsen of verwerkingsknooppunten te verdelen om parallelle verwerking en schaalbaarheid mogelijk te maken.

Werking: Bepaal het aantal partities (N). Kies een partnkey (bijv. een kolom in een tabel of een sleutel in een sleutel-waarde-opslaag). Bereken de hash van die sleutel en gebruik de uitkomst om de partitietoewijzing te bepalen, meestal door hash(k) modulo N te nemen. Soms worden extra maatregelen genomen, zoals salting of verschillende hashfuncties, om sleutelconcentraties te verminderen. Wanneer het aantal partities wijzigt, kan dataherverdeling nodig zijn om alle records in de juiste partitities te plaatsen.

Eigenschappen: Hashpartitionering levert deterministische en eenvoudige toewijzing en kan leiden tot een redelijk gelijke verdeling bij een hoge kardinaliteit en uniforme sleutelverdeling. Nadelen zijn onder meer beperkte ondersteuning voor bereikgerelateerde queries en geordende scans; bij oneven sleutelverdeling kunnen hot spots ontstaan. Het schalen van het aantal partities vereist dataherverdeling of gebruik van technieken zoals virtuele knooppunten.

Toepassingen en vergelijking: Veel gebruikt in distributed databases en datawarehouses om analyse-workloads te schalen en om gegevens voor joins te partitioneren, zodat shuffles minimaler zijn. Vergeleken met range-partitionering is hashpartitionering beter voor gelijkmatige spreiding maar slechter voor range-queries en sorteringen. Schemaval of implementatieverschillen kunnen variëren per database of systeem.