Unicodenormalisoinnissa

Unicodenormalisoinnissa on prosessi, jolla varmistetaan, että tekstiä edustetaan yhdenmukaisesti Unicode-merkistössä. Unicodeen sisältyy useita tapoja esittää samoja merkkejä. Esimerkiksi yhden kirjaimen, kuten "é", voi esittää yhtenä koodipisteenä tai yhdistelmänä perusmerkistä "e" ja yhdistävänä akuuttiaksenttimerkistä. Tämä voi johtaa ongelmiin, kun tekstiä verrataan tai etsitään, koska kaksi näennäisesti identtistä merkkijonoa voivat olla teknisesti erilaisia.

Normalisointi ratkaisee tämän muuntamalla eri esitykset standardoiduksi muotoon. Unicode määrittelee neljä pääasiallista normalisointimuotoa: NFD (Normalization Form Canonical Decomposition), NFC (Normalization Form Canonical Composition), NFKD (Normalization Form Compatibility Decomposition) ja NFKC (Normalization Form Compatibility Composition). NFD ja NFKD hajottavat yhdistetyt merkit osiin, kun taas NFC ja NFKC tekevät päinvastoin, yhdistäen ne, jos mahdollista. Ero NFD/NFC:n ja NFKD/NFKC:n välillä liittyy siihen, miten ne käsittelevät yhteensopivuusmerkkejä, jotka ovat visuaalisesti samanlaisia mutta eivät semanttisesti identtisiä.

NFC ja NFD ovat yleisimpiä muotoja, ja niitä suositellaan useimpiin käyttötarkoituksiin, kuten tiedostojen tallentamiseen ja tekstin vertailuun. NFKD ja NFKC ovat hyödyllisiä, kun on tarpeen käsitellä yhteensopivuusmerkkejä tai kun halutaan muuttaa tekstiä yksinkertaisempaan muotoon, jopa jos se tarkoittaa pientä informaation menetystä. Normalisointi on tärkeä osa modernia tekstinkäsittelyä ja tietojenkäsittelyä, varmistaen tekstin yhtenäisyyden ja vaihdettavuuden eri järjestelmien ja sovellusten välillä.