Merkkikoodaus

Merkkikoodaus on järjestelmä, jolla tekstitietomERIä muunnetaan ja tallennetaan binääriseen muotoon. Se määrittelee, miten kukin merkki esitetään numerona ja miten kyseinen numero koodataan bittijonoksi tallennuksessa, siirrossa ja käsittelyssä. Merkkikoodauksen tavoitteena on mahdollistaa oikea ja pitkäaikainen tekstin esittäminen eri laitteilla ja ohjelmistoilla.

Yleisimmät 8-bittiset koodaukset ovat ASCII ja ISO/IEC 8859 -sarja sekä Windows-1252, joita käytettiin laajasti ennen Unicodea. Nykyisin kattavimman ja yleisimmän ratkaisun muodostaa Unicode, jonka tarkoituksena on yhdistää kaikki kirjoitus- ja symbolimerkit. Unicode-merkistö kuvaa merkkien kokonaisuuden, mutta koodaukset kuten UTF-8, UTF-16 ja UTF-32 määrittelevät, miten merkkikoodit esitetään binäärisesti. UTF-8 on muuttuvapituinen ja yhteensopiva ASCII:n kanssa, mikä tekee siitä suositun verkkosisällön ja ohjelmistojen keskuudessa. UTF-16 ja UTF-32 käyttävät 2 tai 4 tavua per koodipiste, ja niiden toteutuksessa on huomioitava endianness.

Käytännössä merkkikoodaus vaikuttaa tiedostojen tallennukseen, ohjelmointiin, tiedonsiirtoon ja datan yhteensopivuuteen erilaisten järjestelmien välillä. Jos koodaus tulkitaan väärin, teksti voi näkyä virheellisesti. Transkodointi eli koodauksen muuntaminen yhdestä muodosta toiseen on yleistä tiedostoja siirrettäessä tai järjestelmiä yhdistettäessä.

Historian kannalta merkkikoodaukset kehittyivät 1960-luvulta alkaen, jolloin määriteltiin esimerkiksi ASCII. Unicode-ohjelmointikohteena tavoitteena on tukea kaikkien kirjoitusjärjestelmien merkit; käytännössä UTF-8 on nykyään yleisimmin käytetty koodaus monissa ympäristöissä.