kolomopslag

Kolomopslag, ook wel kolomgebaseerde opslag genoemd, is een manier om data op te slaan waarbij gegevens per kolom worden opgeslagen in plaats van per rij. In een kolomopslag staan de waarden van elke kolom aaneengesloten op de schijf, vaak in aparte opslagblokken per kolom, met metadata over type en encoding. Dit staat in contrast met rijopslag, waarbij alle kolommen van een rij naast elkaar staan.

Hoe het werkt: kolomopslag maakt het mogelijk om bij een query alleen de benodigde kolommen te lezen. Dit vermindert de I/O en vergroot de compressie. Kolomtypen zijn meestal homogeen, waardoor technieken zoals dictionary encoding, run-length encoding en bitmap-encodering effectief zijn. Daarnaast kunnen vectorized engines en predicate-pushdown sneller operationele analyses uitvoeren op kolomgewijze data.

Voordelen: betere prestaties bij analytische querying, efficiëntere compressie en betere cache-efficiëntie. De opslag is ideaal voor scans van grote tabellen en queries die slechts enkele kolommen nodig hebben.

Nadelen: bij veel updates en mutaties is kolomopslag vaak minder efficiënt; rijgewijze updates vereisen herorganisaties; niet ideaal voor transactionele workloads (OLTP) zonder speciale mutatiestrategieën. Sommige systemen gebruiken hybride of append-only modi.

Toepassingen en voorbeelden: veel toegepast in datawarehouses en OLAP-workloads. Voorbeelden van kolomgebaseerde bestandsformaten zijn Parquet en ORC. Column-store databases zoals Vertica, ClickHouse en Amazon Redshift slaan data kolomgebaseerd op en zijn geoptimaliseerd voor scans en aggregaties.

Zie ook: kolomgebaseerde databases, datawarehouse, Parquet, ORC.