Merkkijonotaessa

Merkkijonotaessa tarkoittaa prosessia, jossa merkkijono muutetaan tavujonoksi käytettävälle merkistölle tai koodaukselle. Tämä vaihe on yleinen, kun teksti tallennetaan tiedostoihin, lähetetään verkon kautta tai jaetaan järjestelmien välillä. Merkkijonon itsenäinen rakenne pysyy merkeissä, kun taas tavujonoksi tehtävä muunnos mahdollistaa tallennuksen ja siirron.

Yleisimmät koodaukset kattavat ASCII:n, UTF-8:n, UTF-16:n ja UTF-32:n. Unicode määrittelee merkkijonon symbolit, mutta koodaus päättää, miten kukin symboli tallennetaan bitteinä. Esimerkiksi UTF-8 on muuttuvapituinen ja käyttää yhden tai useamman tavun yhdistelmää joidenkin merkkien tallentamiseen, kun taas ASCII on rajoitettu 7-bittiä ja on yhteensopiva UTF-8:n kanssa, mutta tunnistaa vain ensimmäiset 128 merkkiä.

Ongelmia voi ilmetä, kun vastaanottava järjestelmä tai tallennuspaikka odottaa eri koodausta. Tällöin tavujen jono voi vääristyä tai data voi hävitä. Käsittelyssä voidaan valita erilaisia virheenkäsittelystrategioita, kuten tiukka (strict), korvaaminen (replace) tai ohittaminen (ignore). Merkityksellistä on erottaa merkkijonon koodauksen määrittämisen muunnoksesta takaisin merkkijonoksi eli dekoodauksesta.

Käytännön huomioita ovat endianness ja BOMin käyttö UTF-16/UTF-32 -koodauksissa, sekä Unicode-normalisointi (esimerkiksi NFC/NFD), mikä voi vaikuttaa merkkijonon vertailuun ja tallennukseen. Monissa ohjelmointiympäristöissä merkkijonotaessa hallitaan automaattisesti kirjastoilla, kuten Pythonin encode/decode, Java String.getBytes, C/C++ iconv tai JavaScriptin TextEncoder/TextDecoder. Merkkijonotaessa on siis sekä tekninen että yhteensopivuusnäkökulma, kun data siirretään tai tallennetaan.