Merkkijonokoodekit

Merkkijonokoodekit ovat järjestelmiä, jotka määrittävät, miten merkit muutetaan bitteihin ja miten bittivirrat tulkitaan takaisin merkeiksi. Ne mahdollistavat tekstin tallentamisen, siirtämisen ja käsittelemisen tietokoneissa. Koodekki kertoo, kuinka monta tavua käytetään yhden merkin esittämiseen ja millainen koodipisteiden järjestys kullekin merkille annetaan.

Yleisimmät koodekit ovat ASCII, ISO-8859-1 (Latin-1) sekä Windows-1252, mutta nykyään tärkeitä ovat Unicode-pohjaiset koodekit UTF-8, UTF-16 ja UTF-32. ASCII on 7-bittinen ja kattaa vain perusmerkit. Latin-1 kattaa useita länsieurooppalaisia merkkejä. UTF-8 on tällä hetkellä yleisin, koska se on yhteensopiva ASCII:n kanssa ja käyttää yhden tai useamman tavun mittaisia koodauksia eli 1–4 tavua per merkki. UTF-16 ja UTF-32 käyttävät 2 tai 4 tavua per merkki; UTF-16 voi ilmentyä eri tavujärjestyksinä (endianness), ja joskus tiedostoissa tai siirroissa käytetään Byte Order Markia (BOM) ilmoittamaan järjestys.

Käytännössä oikea koodekki on ilmoitettava ja noudatettava kaikissa tiedoissa. Verkkosivut ilmoittavat usein koodekkinsa HTTP-otsikoissa tai HTML-koodissa (esim. charset UTF-8). JSON ja XML suosivat UTF-8:ää, ja sähköpostissa sekä muissa protokollissa käytetään vastaavia ilmoituksia. Kun koodekit konvertoidaan väärin, syntyy mojibakea eli merkkien epäluettavaa tulkintaa, mikä heikentää tiedon laatua ja luettavuutta.

Historia ja haasteet: ennen Unicodea oli olemassa lukuisia erillisiä koodekkeja, joilla ei ollut yhteistä standardia. Unicode ja sen perinteiset UTF-8, UTF-16 ja UTF-32 -koodekit ovat tehneet tekstin käsittelystä ja kansainvälisestä tuesta yhtenäisempää, mutta koodekkien oikea käyttö ja konversio ovat yhä olennaisia osa-alueita tietoturvan, yhteensopivuuden ja käytön sujuvuuden kannalta.