Columnarformaatteja

Columnarformaatit ovat tiedostomuotoja, joissa tiedot tallennetaan sarakkeittain rivien sijaan. Tämä sarakkeittainen tallennusmuoto tukee tehokasta pakkaamista ja kyselyjä, joissa luetaan vain tarvittavat kentät, mikä pienentää I/O:a ja parantaa analyyttisen työkuorman suorituskykyä.

Ominaisuuksia ovat sarakekohtainen pakkaus ja koodaus (esim. dictionary- tai run-length-koodaus), tilastotiedot jokaisesta sarakkeesta sekä mahdollisuus lukea vain osa tiedostosta row group- tai stripe-rajapinnoin. Näin kyselyt, jotka suodattavat useita sarakkeita, voivat käyttää predicate pushdownia ja skannata pienempiä osia datasta. Columnar-formaatteja käytetään erityisesti suurten datamäärien analyysissä ja data warehousessa, ja niillä on laaja tuki monissa big data -työvälineissä.

Esimerkkejä ovat Parquet ja ORC. Parquet on avoin standardi, jossa tiedot jaetaan row group -lohkoihin ja jokaiselle sarakkeelle on omat tilastotiedot ja metadataa sisältävät osat; footerissa on skeemaan liittyvää metadataa. Se on yleisesti tuettu järjestelmissä kuten Apache Spark, Hive ja Presto. ORC on erityisen tehokas Hadoop-ympäristöissä, tarjoten hyvän pakkaamisen, indeksoinnin ja tilastojen tukemisen. Muita kolumnaariformaatteja ovat esimerkiksi Arrowin in-memory -muodot, jotka on suunniteltu datan tehokkaaksi siirtämiseksi sovellusten välillä.