merkistötapoja

Merkistötapoja on käsite, jolla tarkoitetaan tapoja esittää ja tallentaa tekstiä digitaalisesti. Siihen kuuluu sekä merkistö, eli merkkien kokoelma, että tämän merkkien koodaus, jolla merkit muunnetaan bitteihin ja takaisin luettavaan muotoon. Merkistö määrittelee, mitä merkkejä voidaan esittää ja kuinka monta bittiä kukin merkki vaatii.

Perinteisesti merkistöt koettiin erillisinä kokonaisuuksina. 7-bitin ASCII kattaa hallintamerkit ja latinalaiset aakkoset. Laajennukset kuten ISO/IEC 8859 -sarjat lisäävät lisämerkkejä, esimerkiksi 8859-1 kattaa länsieurooppalaiset merkit, 8859-5 puolestaan kyrilliset merkit. Windows-1252 on käytetty laajennus ASCII:stä, ja monilla järjestelmillä on omat KOI8- ja muu laajennuksensa. Näiden eroavaisuudet aiheuttavat yhteensopivuusongelmia tekstin siirroissa.

Nykyisin laajin ja yleisin merkistö on Unicode, joka pyrkii kattamaan kaikkien kirjoitettujen kielten merkit. Unicode-merkistöt tallennetaan erilaisilla koodauksilla, yleisimmät ovat UTF-8, UTF-16 ja UTF-32. UTF-8 on yhteensopiva ASCII:n kanssa ja on internetin ja useimpien ohjelmistojen yleisin tallennusmuoto.

Koodausasioihin liittyy käytännön seikkoja, kuten endianness ja byte order mark (BOM), sekä merkkien normalisointi (esim. NFC/NFD). Vanhat tekstit voivat muuttua väärin tulkituiksi, jos merkistö ei ole samaa, mikä tunnetaan mojibakena. Transkoodaus eli siirtäminen yhdestä merkistöstä toiseen vaatii konversioita, joita ei saa tehdä häiriöttä.

Käytännössä merkistötapojen tunteminen on tärkeää ohjelmoinnissa, tiedostojen hallinnassa ja verkkopalveluiden kansainvälisessä tuessa. Suositus on käyttää Unicode-UTF-8 -merkistöä ja ilmoittaa tiedoston merkistö sekä pitää se johdonmukaisena.