datamuotoja

Datamuotoja tarkoitetaan tapoja, joilla data esitetään, tallennetaan ja siirretään ohjelmistojen välillä. Ne määrittelevät, kuinka merkit ja rakenteet ovat järjestettyjä sekä millaisia skeemoja tai kuvailevia tietoja dataan sisältyy. Datamuotoja voidaan jaotella tekstimuotoisiin ja binäärimuotoisiin sekä rakenteellisiin, semi-structured ja unstructured -datoihin. Tekstimuodot ovat ihmisluettavia ja soveltuvat nopeaan tarkasteluun, kun taas binäärimuodot ovat usein pienempiä ja nopeampia käsitellä suuria määriä dataa.

Yleisimmät tekstimuodot ovat JSON, XML, YAML ja CSV. JSON on kevyt, avain-arvo-pareihin ja rakenteisiin perustuva formaatti, laajasti tuettu verkkopalveluissa. XML on ekspansiivisempi ja hierarkkinen, mutta syntaksiltaan raskaampi. CSV (ja TSV) esittää taulukkomuotoista dataa suoraviivaisesti ilman syvää rakennetta. YAML on inhimillisesti luettava ja käytetty konfiguraatioissa, mutta vaativampi syntaksiltaan.

Binäärimuotoja ovat esimerkiksi Parquet, Avro, Protobuf ja ORC. Ne tukevat skeemia, tarrautuvat tehokkaaseen tallennukseen ja mahdollistavat optimointia, kuten sarakkeittaisen lukemisen suurissa datajoukossa. Binäärimuodot soveltuvat erityisesti suurten tietomassojen käsittelyyn ja datavirtaprosesseihin.

Skeemat ja validoima ovat tärkeitä erityisesti rakenteellisissa formaateissa. JSON Schema, XML Schema sekä Protobuf- ja Avro-skeemat määrittelevät, millainen data on kelvollista ja miten muutosvaiheet hallitaan.

Datamuotojen valinta vaikuttaa tallennus-, siirto- ja käsittelykustannuksiin sekä kapasiteettiin. Valintaan vaikuttavat ihmisluettavuus, suorituskyky, tilankäyttö sekä olemassa oleva ekosysteemi ja standardien noudattaminen.