Muuntokoodaus

Muuntokoodaus tarkoittaa prosessia, jossa teksti muunnetaan yhdestä merkkikoodauksesta toiseen. Koodaukset määrittelevät, miten jonoa bytes-merkkijonoa tulkitaan ja miten merkit esitetään tallennuksessa tai siirrossa. Eri järjestelmät voivat käyttää eri koodauksia, mikä tekee muuntokoodauksesta tärkeän tehtävän tiedonvaihdossa, arkistoinnissa ja sovellusten yhteensovittamisessa.

Tyypillinen muuntokoodausprosessi koostuu kolmesta vaiheesta: lähdekoodauksen tunnistus ja/tai määrittäminen, dekoodaus sisäiseen Unicode-esitykseen, ja kohdekoodaukseen uudelleenkoodaus. Unicode-yhteensopiva sisäinen esitys (esim. UTF-16 tai UTF-8) mahdollistaa monien kieliryhmien käsittelyn samalla tavalla.

Yleisimmät kohteet ja haasteet liittyvät käytettyihin koodauksiin. Esimerkiksi ASCII sisältää vain englanninkieliset merkkejä, kun taas ISO- ja Windows-koodaukset voivat kattaa erilaisia eurooppalaisia merkkisetejä. Jos lähde- tai kohdekoodaus on väärin valittu tai kohdekoodaus ei kata kaikkia merkkejä, syntyy korvausmerkkejä tai virheitä. BOM (byte order mark) sekä endianness voivat vaikuttaa aloittavin merkkeihin tiedostoissa.

Käytännössä muuntokoodaus tapahtuu monissa ympäristöissä ohjelmointikirjastojen kautta (esim. Pythonin codecs/str.encode, Java Charset, .NET Encoding) tai erillisillä työkaluilla kuten iconv. Parhaiten toimiva käytäntö on, että tallennus- ja siirtotiedot ovat mahdollisimman yleiskäyttöisessä UTF-8-merkistössä, ja että lähde- sekä kohdekoodekset tarkistetaan sekä virheet käsitellään asianmukaisesti.