Unicodenormalisointiin

Unicodenormalisointi (Unicode normalization) on Unicode-tekstiä koskeva prosessi, jolla merkkijono muutetaan vakioituun muotoon, jotta saman merkkijonon eri esitykset voidaan tunnistaa ja käsitellä luotettavasti. Normalisointi huomioi kanoniset yhdistämiskelat sekä yhteensopivuustunnisteet, mikä helpottaa merkkijonojen vertailua, hakua ja tallennusta.

Neljä yleistä normaalimuotoa on määritelty: NFC (Normalization Form C), NFD (Normalization Form D), NFKC ja NFKD. Kanoniset muodot (NFC ja NFD) käsittelevät merkkien kanonista yhdistämistä: NFC pyrkii esittämään saman merkkijonon yhdistettynä, kun taas NFD hajottaa ne perusmerkkeihin ja yhdistävät merkit erikseen. NFKC ja NFKD laajentavat tämän yhteensopivuusdekompositioihin, eli mukaan otetaan myös merkkien yhteensopivuusominaisuudet, kuten joidenkin ligatuurien tai symbolien vaihtelut.

Normalisointi on keskeinen osa tekstinkäsittelyä: se mahdollistaa luotettavan merkkijonojen vertailun, hakemisen ja indeksoinnin riippumatta siitä, miten teksti on alun perin koodattu. Sitä tukevat useat ohjelmointi- ja kirjastoalustat, kuten Pythonin unicodedata.normalize, Java:n java.text.Normalizer, ICU-kirjastot sekä JavaScriptin String.prototype.normalize. On huomioitava, että joidenkin merkkien ja koostepalojen (kuten emoji-sekvenssien, Variation Selector -merkistön U+FE0E/U+FE0F sekä Zero-Width Joiner -merkki) käsittely voi johtaa eri tuloksiin riippuen valitusta normaalimuodosta.

Normalisointi ei yleensä vaikuta tekstin semanttiseen merkitykseen, vaan sen esitykseen. Se on olennaista yhteensopivuuden ja rakenteellisen vertailun vuoksi ja ohjaa Unicode-standardeja sekä ohjelmistojen käytäntöjä.