Dataformaatit

Dataformaatit tarkoittavat tapoja, joilla tietoa järjestellään ja esitetään tallennusta, siirtoa tai käsittelyä varten. Ne voivat olla tekstipohjaisia (esim. CSV, JSON, XML) tai binäärisiä (esim. Avro, Parquet, protobuf), ja ne eroavat muun muassa luettavuuden, tehokkuuden ja tuen mukaan.

Tekstipohjaiset formaatit ovat usein ihmisen luettavissa ja helpompia debugata, mutta vievät enemmän tilaa kuin optimoidut binäärimuodot. Rakennemuotoiset formaatit sisältävät eksplisiittisen skeeman tai avain-arvo-rakenteen (JSON, XML, Avro), kun taas jäsentämättömät datatyypit, kuten kuvat ja ääni, vaativat omat formaattinsa (JPEG, PNG, MP3, WAV). Monet formaatit tukevat metatietoja, versiointia ja pakkausta.

Käytännössä valinta riippuu sovelluksen vaatimuksista: tiedonsiirrossa ja API-yhteyksissä suositaan usein JSON:ia tai protobufia; analytiikassa ja sarakepohjaisessa varastoinnissa Parquet tai ORC ovat yleisiä; pitkäaikaissäilytyksessä tarvitaan säilytettävyyttä ja avoimuutta. Standardit, kuten MIME-tyypit ja skeemakielet (JSON Schema, XML Schema), parantavat yhteentoimivuutta ja validointia.

Työkaluilla voi muuntaa, validoida ja optimoida formaatteja. Tärkeitä huomioita ovat yhteensopivuus, suorituskyky, tallennustila, turvallisuus ja pitkän ajan säilytys.