Unicodemerkkijonoja

Unicodemerkkijonoja ovat ohjelmistoissa käytettäviä merkkijonoja, jotka koostuvat Unicode-merkeistä. Unicode on maailmanlaajuinen standardi, jossa jokaiselle kirjoitusmerkille on määritelty ainutkertainen koodipiste. Merkkijonot voivat sisältää kielikohtaista tekstiä, erikoismerkkejä sekä symboli- ja emoji-merkit.

Merkintöjen tallennus tapahtuu eri koodauksilla. Yleisimmät ovat UTF-8, UTF-16 ja UTF-32. Koodipisteet voivat tarvita useamman tavun tallennusta: esimerkiksi U+0041 on yksi tavun UTF-8 -merkintä, ja U+1F60A vaatii neljä tavua UTF-8:ssa. UTF-16 käyttää yhden tai kaksi 16-bittistä yksikköä koodeille, joita kutsutaan yksiköiksi; UTF-32 tallentaa jokaisen koodipisteen omassa 32-bittisessä yksikössään.

Tekstin käsittelyssä on tärkeää erottaa koodipisteiden määrä ja grapheme-ryhmien muodostama visuaalinen merkki. Monet merkit koostuvat useista koodipisteistä, esimerkiksi yhdistämismerkkejä tai joitakin emoji-kerrostumia. Normalisointi NFC, NFD, NFKC ja NFKD muuttaa merkkijonon rakenteen, jotta saman merkkijonon eri kirjoitusasut voidaan kohdistaa yhdenmukaisesti.

Käytännön vaikutukset ovat muun muassa ohjelmointikielissä ja kirjastoversioissa. Monilla ympäristöillä merkkijonoja käsitellään koodiyksikkö- tai grapheme-tasolla, mikä voi vaikuttaa pituuden, leikkauksen ja indeksin hakemisen tuloksiin. Unicode-tekstiin liittyy myös bidirektionaalisuus eli oikea- ja vasemmanpuoleinen kirjoitusjärjestys arabe- ja hepreankielien kanssa sekä emoji- ja skin-tone -yhdistelmien tukeminen.

Esimerkki: merkkipisteet U+0041 (A), U+00E4 (ä) ja U+1F60A (tyytyväinen emoji) muodostavat erilaisia koostumia, jotka tallennetaan Unicode-merkkijonoina riippumatta käytetystä koodauksesta.