Unicodenormalizáció

Unicodenormalizáció är processen att omvandla olika representationer av samma tecken eller teckensekvenser i Unicode till en enda standardiserad form. Detta är viktigt för att säkerställa att textdata kan jämföras och bearbetas korrekt, oavsett hur den ursprungligen kodades. Utan normalisering kan texter som ser identiska ut för en mänsklig läsare skilja sig åt på en byte-nivå, vilket kan leda till fel vid sökning, sortering och jämförelse.

Det finns flera olika normaliseringsformer definierade av Unicode-standarden. De vanligaste är NFD (Normalization Form Canonical Decomposition) och NFC (Normalization Form Canonical Composition). NFD bryter ner sammansatta tecken till deras bastecken och diakritiska tecken. Till exempel, ett "é" kan representeras som ett enskilt tecken eller som ett "e" följt av ett accenttecken. NFD skulle separera dessa. NFC, å andra sidan, utför den omvända operationen och kombinerar bastecken och diakritiska tecken till sammansatta tecken där det är möjligt.

Utöver dessa finns även NFKD och NFKC, som använder kompatibilitetsersättning. Kompatibilitetsersättning hanterar tecken som har liknande utseende men inte är kanoniskt ekvivalenta, till exempel ligaturer eller olika former av citationstecken. NFKD bryter ner dessa till sina komponenter, medan NFKC försöker kombinera dem till en standardform baserat på kompatibilitet. Valet av normaliseringsform beror på applikationens specifika behov, men NFC är ofta den mest rekommenderade formen för generell textlagring och jämförelse.