Unicodekodningar

Unicodekodningar refererar till metoderna för att representera Unicode-kodpunkter som sekvenser av bytes. En kodpunkt är en specifik teckenposition inom Unicode, till exempel U+0041 för bokstaven A. En kodning beskriver hur denna kodpunkt mappas till bytes och hur sekvenser av bytes kan tolkas som tecken. Unicode och ISO/IEC 10646 ger en gemensam uppsättning kodpunkter, vanligtvis kallad Unicode, medan själva lagringen i filer eller över nätverk sker genom olika kodningar.

De tre dominerande Unicode-kodningarna är UTF-8, UTF-16 och UTF-32. UTF-8 är en variabel längd-kodning som använder mellan 1 och 4 bytes per kodpunkt och är ASCII-kompatibel, vilket gör att 7-bitars ASCII-tecken behåller sin ett-till-ett-kodning. Den är mycket vanlig i webben och på Unix-liknande system. UTF-16 används i två-bytes (eller fyra bytes) enheter beroende på om kodpunkten kräver en så kallad surrogate-pair; den har olika byteordning (endianness) och kan bära bom-tecken (BOM) för att indikera ordningen. UTF-16 är vanligt i Windows-API:er och i många programmeringsmiljöer som Java.

UTF-32 lagrar varje kodpunkt som exakt fyra bytes, vilket gör beräkningar och indexering enkla men ofta ineffektivt i lagring, särskilt för färre teckensnitt.

Andra aspekter att känna till är att rätt kodning måste deklareras i metadata eller HTTP-huvuden; felaktig igenkänning kan leda till mojibake. Vid val av kodning beaktas lagringsutrymme, kompatibilitet och prestanda.