Dataformaateista

Dataformaateista tarkoitetaan tapoja, joilla tieto tallennetaan ja siirretään tietokoneiden välillä. Formaatti määrittelee rakenteen, säännöt ja koodaukset, joiden avulla ohjelmat voivat lukea ja kirjoittaa tiedot. Eri tarkoituksiin on olemassa sekä tekstiä että binääriä käsitteleviä formaatteja. Jotkin muodot ovat itsekertovia eli ne sisältävät sekä datan että rakenteen kuvauksen, kun taas toiset ovat raakadataa ilman ennaltamäärättyä skeemaa.

Tekstipohjaiset formaatit ovat yleisiä tiedonvaihdossa ja inhimillisesti luettavissa: JSON, XML, YAML sekä CSV. JSON on kevyt ja laajalti tuettu, kun taas XML tarjoaa monimutkaisempaa semanttista rakennetta. CSV on taulukkomuotoinen muoto, tavallinen pienemmissä tiedonsiirtotapauksissa, mutta se ei sisällä itse määriteltyä skeemaa.

Binääriformaatit puolestaan ovat tehokkaita sekä tilankäytön että suorituskyvyn näkökulmasta. Parquet ja Apache ORC ovat sarjallistettuja kolumniformaatteja suurten datamassojen tallentamiseen datalakkeihin, Avro ja Protobuf tarjoavat skeemapohjaista pakattua dataa, ja HDF5 soveltuu laaja-alaiseen monitieteiseen tallennukseen suurikokoisilla määrillä dataa.

Huomioon otettavia seikkoja ovat merkkikoodaukset (esim. UTF-8), endianness, pakkausmenetelmät sekä skeemien tuki ja validointi (esim. JSON Schema, XML Schema). Yhteensopivuus, versionointi ja käytön konteksti vaikuttavat valintaan. Käyttökontekstista riippuen huomioidaan luettavuus, siirrettävyys ja tallennustehokkuus.