Merkkikoodauksien

Merkkikoodaukset ovat järjestelmiä, jotka määrittelevät, miten teksti tallennetaan ja siirretään bittijonona tietokoneissa ja verkkoyhteyksissä. Ne yhdistävät merkkijoukon eli sen, mitä merkkejä voidaan esittää, ja koodauksen, joka muuntaa kukin merkki bittikoodiksi. Eri koodaukset voivat olla yhteensopimattomia, mikä aiheuttaa merkkien väärin tulkitsemista eli mojibakea, kun teksti siirretään tai tallennetaan väärässä koodauksessa.

Historian suurin kehitysaskeleita olivat ASCII sekä 8-bittiset koodaukset kuten ISO-8859-1 (Latin-1) ja Windows-1252. Seuraavaksi on tullut Unicode, jonka tavoitteena on kattaa mahdollisimman laajan merkkijoukon. Tietojen tallennuksessa ja siirrossa käytetään yleisimmin UTF-8, UTF-16 tai UTF-32. UTF-8 on muuttuvapituinen ja yhteensopiva ASCII-merkkeihin, mikä tekee siitä erityisen suositun verkkokäytössä.

Merkkikoodaukset liittyvät sekä tallennukseen että ohjelmointiin. Oikea koodaus on tärkeä sekä lähteessä että vastaanottajalla: jos arvoja tulkitaan väärin, data voi muuttua tai kadota. UTF-16 ja UTF-32 voivat vaatia huomioita endianness-ongelmien tai BOM:n käytön kanssa. ISO/IEC 10646 (Unicode) määrittelee merkkijoukon ja sen käyttötavat, ja sen transformaatioformaatit, kuten UTF-8/UTF-16/UTF-32, ovat käytännön standardeja.

Valinta riippuu käyttökontekstista ja yhteensopivuusvaatimuksista. Nykyään yleisimmät ratkaisut ovat Unicode-perusteiset koodaukset, erityisesti UTF-8, joka tukee monia kieliä ja on robusti sekä verkkosovelluksissa että tiedostojen tallennuksessa.

Lisätietoja: Unicode, UTF-8, ISO/IEC 10646.