Unicodehantering

Unicodehantering avser metoder och bibliotek för att representera, bearbeta och jämföra text enligt Unicode‑standarden. Varje tecken tilldelas en unik kodpunkt, till exempel U+0041 för "A" och U+00E4 för "ä". Text lagras ofta som sekvenser av kodpunkter där kombinerade tecken kan uppträda som enhet.

Unicode stöder flera teckenkodningar, där UTF‑8 är mest spridd på webben. UTF‑8 är variabelt längd och bakåtkompatibel med ASCII. UTF‑16 och UTF‑32 används i vissa miljöer och plattformar och kan kräva olika hantering av 16‑bit‑enheter eller 32‑bit‑enheter. Endianness och Byte Order Mark (BOM) används för att indikera byteordning i vissa format. Felaktiga sekvenser bör hanteras säkert för att undvika krascher eller säkerhetsrisker.

Normalisering syftar till att göra kanoniskt lika texter identiska, trots olika kombinationer av tecken och diakritiska tecken. De fyra formerna NFC, NFD, NFKC och NFKD beskriver hur tecken kan sammanfogas eller dekomponeras. Vid jämförelser och sökningar bör strängar normaliseras till samma form för att undvika felaktiga resultat.

Grapheme-kluster refererar till vad användare uppfattar som ett tecken: bastecken med kombinerande tecken, eller emoji med variationer. Textens uppbyggnad påverkas av grapheme‑kluster, line break‑egenskaper och tecken som kan modifiera utseendet, till exempel variation selectors och skin-tone modifiers. Vid sortering används ofta Unicode Collation Algorithm (UCA) med lokala regler.

Praktiska råd: föredra UTF‑8 som standard där det är möjligt; hantera decoding fel på ett kontrollerat sätt; normalisering förenklar jämförelser och lagring; var uppmärksam på homoglafier och andra textrelaterade säkerhetsrisker i inmatning. Se till att databaser och applikationer använder konsekvent teckenkodning och kollation för korrekt visning och sökning över språk.